[강연] 전공자를 위한 데이터 직무 커리어패스

 

연사님 소개

1. 경력

- (현) SK그룹사 데이터 엔지니어

- (전) 롯데그룹사 데이터 개발자

2. 프로젝트

- 금융 데이터 플랫폼 구축

- 글로벌 제조업 프로젝트 2건

- 유통업 사용자 프로젝트 14건

3. Skills (사진참고)

 

---

1. 업무 진행 사례

- IT 프로젝트의 흐름

기획요건 (사업전략팀, 고객사) -> 기획 (법무팀, 전략팀, UXUI) -> 환경구성 & 설계 (PM, 아키텍쳐(SA, DA, QA) -> 개발 (백엔, 프엔, 엔지니어(SE, DE, DBA) -> 테스트 (기능, 성능, 보안) -> 배포 및 모니터링 -> 운영

 

SE : system engineer(리눅스 만지는사람)

DE : database enginner

- 데이터 구축 업무와 운영 업무

	구축	운영
관리자 DBA	DBMS 선정 모니터링 구성	모니터링 및 최적화 튜닝
아키텍쳐 DA	DB 설계 표준 정책 마련	DB 설계 변경 및 대응 품질 유지
엔지니어 DE	파이프라인 개발	ETL, Kafka 등 운영
분석가 Scientist, AI, ML	-	통계 분석 및 시각화 알고리즘 분석 및 적용

최적화를 매우 중요하게 생각한다. (돈을 줄여야해서)

 

어떤 DBMS가 유명한지 알아보기 위해서 https://db-engines.com/en/ranking 참고

 

 

도구들을 많이 사용해봐야한다. 

 

 

데이터 구축 업무

- 파이프라인 개발 https://www.ibm.com/kr-ko/topics/data-pipeline

- 도구 : kafka, spark

 

데이터 운영 업무

- 서버 모니터링 및 최적화

 

쿼리 튜닝

- 실제 데이터가 돌아가는 원리를 알고 성능 좋게 바꿔야 한다.

- 보기 좋게의 튜닝이 아니라 성능을 좋게 튜닝하는 것이다.

SELECT ename, hiredate,sal
FROM emp
WHERE TRUNC(hiredate) = TRUNC(SYSDATE);

 

⬇️

SELECT ename, hiredate,sal
FROM emp
WHERE hiredate > TRUNC(SYSDATE)
  AND hiredate < TRUNC(ADD_DATE(SYSDATE),1))

 

 

 

면접자들은 새로운 것을 만든다는 것에는 관심없고, 변경에 대응할 수 있는가를 중요하게 여긴다. 

 

2. 전공자의 기술역량 강화 전략

- 취업준비에 투자하는 시간

1. 과정

2. 목표 군별 기한 정하기

3. 기술 스택이 아닌 취업준비에 50% 투자하기

     - 코딩테스트 준비

     - 인적성 준비

     - 면접 스터디

     - 기업 및 업계 최근 이슈 분석

- 목표기업 분석

1. 대기업 또는 동종업계 1위 기업의 나무위키

    - 회사의 이름 유래

    - 주요 서비스 명

2. 채용공고 분석

    - 주요 기술 스택 (신입사원 공고 뿐만 아니라, 경력직 공고도 찾아보기)

    - 협력업체의 홍보자료

3. 아키텍쳐 찾아보기

    - 구글링

4. 재무정보 찾아보기

5. 대표 및 임원정보 알아보기

- 기술 스택과 연계

- 협업 경험 늘리기

 

3. 공모전 등의 포트폴리오 작성법

- 포트폴리오와 이력서

성장 속도, 가능성, 방향이 좋아야함.

장점 = 꼼꼼하다

그래서 꼼꼼해서 어떤 스토리를 만들었는지

 

내가 프로젝트에 들어갔을때 잘하겠네? 라고 생각이 들게끔 추정역량을 해야함

- 포트폴리오에 들어갈 내용

회사의 시스템에서 내가 들어낼 수 있는 스킬들을 어필하며 내가 쓸모있다는 사람이라는 것을 드러내야한다.

직무하나만 작성하기.

데이터 엔지니어인데 리눅스 이런것도 알아~ 를 어필하기 위한 자격증이다. 

 

프로젝트 사진으로는 아키텍쳐 파일 하나만 첨부하는게 가장 좋을 듯

 

QnA

 

코딩 실력 -> 프로그래머스 레벨 3 70%

 

아르바이트 단어 변경 -> 단기 계약직

 

혹시 리버스 코딩, 리버스 기획에 대해 추가설명 부탁드려도 괜찮을까요?

이미 완성되어있는것을 상쇄헤서 이렇게 기획을 하겠다.

 

LLM파인튜닝과 RAG챗봇을 구축할때 데이터를 수동으로 가공하고 적재해서 비효율성을 느꼈습니다. 이것도 데이터파이프라인을 구축하고싶은데 이것도 데이터엔지니어 직무에 해당한가요?

 

내일을 덜어줄 사람을 구한다 = 공고