Spring batch - JobInstanceAlreadyCompleteException 해결

RunIdIncrementer - 완전히 unique하지 않다.

JobInstanceAlreadyCompleteException 혹은 JobExecutionAlreadyRunningException이 발생하는 경우

batch job의 run.id 와 job parameter가 동일하기 때문에 발생하는 경우일 확률이 크다.

 

일반적으로 다음과 같이 spring batch에서 run.id를 자동으로 1씩 증가시켜 동일한 파라미터를 여러번 사용할 수 있도록 설정한다.

    @Bean
    public Job myBatchJob() {
        return jobBuilderFactory.get("myBatchJob")
                .incrementer(new RunIdIncrementer())  // RunIdIncrementer 적용
                .start(myStep())
                .build();
    }

 

하지만 RunIdIncrementer는 완벽한 고유성이 보장되지 않는다. 

동일한 시기에 여러 배치가 동작하는 경우 동일한 run id가 생성될 수 있다.

 

 

Batch 실행 정보 살펴보기

해결방법을 찾기전 run id와 job 파라미터 등 배치 실행 정보를 어떤식으로 어디에 저장되어 있는지 알아볼 것이다.

 

기본적으로 batch의 메타 데이터는 내장 H2 DB에 저장된다. 

이 DB는 메모리 상에서 운영되므로 어플리케이션이 종료되면 데이터가 날아가버린다.

정보를 유지하고 싶은 경우 spring batch application.yaml에 기본 외부 DB를 연결하면 된다.

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://your-mysql-host:3306/your-database
    username: your-username
    password: your-password

 

 

저장되는 정보는 다음과 같다.

BATCH_JOB_INSTANCE : 각 작업 인스턴스에 대한 정보를 저장
BATCH_JOB_SEQ : 'BATCH_JOB_INSTANCE.JOB_INSTANCE_ID'의 고유값을 생성하는 데 사용

BATCH_JOB_EXECUTION : 각 배치 작업의 실행에 대한 정보를 저장, 작업 실행에 대한 상태 및 타임스탬프 정보BATCH_JOB_EXECUTION_CONTEXT : 각 작업 실행에 대한 `ExecutionContext`의 직렬화된 표현을 저장BATCH_JOB_EXECUTION_PARAMS : 작업 실행에 전달된 파라미터 정보를 저장
BATCH_JOB_EXECUTION_SEQ : 'BATCH_JOB_EXECUTION.JOB_EXECUTION_ID'의 고유값을 생성하는 데 사용

BATCH_STEP_EXECUTION : 각 배치 스텝의 실행에 대한 정보를 저장, 스텝 실행에 대한 상태 및 타임스탬프 정보
BATCH_STEP_EXECUTION_CONTEXT : 각 스텝 실행에 대한 `ExecutionContext`의 직렬화된 표현을 저장
BATCH_STEP_EXECUTION_SEQ : 'BATCH_STEP_EXECUTION.STEP_EXECUTION_ID'의 고유값을 생성하는 데 사용

 

강조한 3가지 테이블의 관계만 간단히 살펴보자면

BATCH_JOB_INSTANCE에는 job이 실행될때마다 job instance id와 job name이 신규로 생성된다.

그리고 하나의 job instance에는 여러개의 job execution이 있을 수 있는데 (job안에서 execution이 실패 후 재시도 되거나 chunk 기반 처리 처럼 병렬처리로 인해 job execution이 여러개 생성되는 경우) job execution에 대한 정보는 BATCH_JOB_EXECUTION에 저장된다.

각 execution에 사용된 parameters는 BATCH_JOB_EXECUTION_PARAMS에 저장되는 식이다.

 

가능하다면 DB에서 문제가 되는 run.id를 조회해보고 이미 실행된 기록이 있는지 찾아보자.

만약 이미 기록이 있다면 아래 해결방법으로 가능할 것이고 아니라면 다른 정보를 찾는 것이 좋을 것이다.

 

고유한 parameter 자동 생성

문제로 돌아가서 JobInstanceAlreadyCompleteException 혹은 JobExecutionAlreadyRunningException을 해결하는 방법은 job 마다 parameter를 다르게 주는 것이다.

 

해결방법은 다음과 같은 것들이 있다.

• run.id를 커스텀하게 설정
  : run.id가 제역할을 다 하게 하는 방법
  
  • JobLauncher를 상속하여 커스텀
    : 모든 job의 job incremeter를 변경하지않고, 전체 적용을 원하는 경우
  • JobParametersIncrementer를 상속하여 커스텀 
    : 여러가지 job incremeter를 사용하는 경우
• 커스텀한 parameter 값 추가
  : 별도의 parameter 추가가 상관없을 때

JobLauncher를 상속하여 커스텀

import org.springframework.batch.core.*;
import org.springframework.batch.core.launch.JobLauncher;
import java.util.Date;

public class CustomJobLauncher implements JobLauncher {

    private final JobLauncher jobLauncher;

    public CustomJobLauncher(JobLauncher jobLauncher) {
        this.jobLauncher = jobLauncher;
    }

    @Override
    public JobExecution run(Job job, JobParameters jobParameters) throws JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException, JobParametersInvalidException {
        JobParametersBuilder builder = new JobParametersBuilder(jobParameters)
                .addDate("currentTime", new Date());

        return jobLauncher.run(job, builder.toJobParameters());
    }
}

import org.springframework.batch.core.launch.JobLauncher;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;

@Configuration
public class BatchConfiguration {

    private final JobLauncher jobLauncher;

    public BatchConfiguration(JobLauncher jobLauncher) {
        this.jobLauncher = jobLauncher;
    }

    @Bean
    @Primary
    public JobLauncher currentTimeJobLauncher() {
        return new CurrentTimeJobLauncher(jobLauncher);
    }
}

기본값으로 customJobLauncher를 사용하도록 설정

 

JobParametersIncrementer를 상속하여 커스텀 

import org.springframework.batch.core.JobParameters;
import org.springframework.batch.core.JobParametersBuilder;
import org.springframework.batch.core.JobParametersIncrementer;

public class CurrentTimeMillisIncrementer implements JobParametersIncrementer {

    @Override
    public JobParameters getNext(JobParameters parameters) {
        return new JobParametersBuilder(parameters)
                .addLong("run.id", System.currentTimeMillis())
                .toJobParameters();
    }
}

 

커스텀한 parameter 값 추가

mport org.springframework.beans.factory.annotation.Value;
import javax.annotation.PostConstruct;
import java.util.Date;

public class CustomJobParameters {

    @Value("#{jobParameters[chunkSize]?:100}")
    private Integer chunkSize;

    @Value("#{jobParameters[currentTime]?:T(java.lang.System).currentTimeMillis()}")
    private Long currentTime; // 값을 넣지 않으면 현재시간이 설정되도록 세팅
}