[NiFi] 1.Get File -> 데이터 정제 -> DB INSERT

1.목적

CSV 파일을 가져와서 약간의 데이터 정제를 거친 이후에 DB Insert 하기

 

2.프로세스

GetFile -> UpdateRecord -> UpdateAttribute -> Replace -> ConvertJSONToSQL -> PutSQL

 

3.상세프로세스

1)GetFile

2)UpdateRecord

데이터 정제를 위해 CSV로 읽어서 JSON으로 Write하기

  ㄴConfiguration에 들어가 Reader,Writer 생성해줘야 함

추가로, 날짜 필드 포맷 변경

 

JSON으로 Write할 때 Schema를 이용해서 데이터 필드 형식 지정하기

우선 Write할 때 Schema를 사용한다고 설정을 해주고, Schema도 생성해야 함

+눌러서 Property 추가해주고

그 옆에 체크박스로 Validation해야 Enable 가능함

Configuration에서 Enable 꼭 시켜야 함!

 

4)UpdateAttribute

데이터 매핑을 위한 변수 지정의 느낌

5)ReplaceText

특정 값(HK)을 위에서 지정한 단어(Confirmed)로 변경하고싶음

6)ConvertJSONToSQL

DB Insert를 위한 Converting

DBConnection Configuration필요함

테이블명만 적으면되지 딱히 스키마까지 적을 필요는 없음

밑에 Database User/Passward 입력 필수

 

7.PutSQL

6번에서 정의해 놓은 것들을 실행시키는 프로세스

DB Connection 설정만 해 주면 됨