데이터 엔지니어 2년, 어떻게 일하고 뭐가 달라졌을까? 과연.. 똑똑해졌을까?

어느덧 데이터 엔지니어라는 직업으로 회사에 지내게 된 시간이 2 년이 다 되었다. 아직 완전히 2년은 아니지만! 원래 1년 정도 지났을 때 한번 정리를 하려고 했는데 생각보다 시간이 많이 지나가 버렸다. 처음 취업했을 때는 나도 연차가 빨리 차서 주도적으로 일을 하고 싶다!! 나도 그쯤 되면 회의에서 멋있게 말할 수 있겠지? 라고 생각했는데..

 

 

 

 

아니요 전 아무것도 몰라요

그저 앉아있는 감자라고요

 

그나마 GPT의 덕으로 1인분(?)은 하는 사원이 되었다.

GPT가 없었더라면.. 감자가 아니라 강낭콩 정도였을 듯.

 

 

2주년 기념 돌아보기

회고는 내가 온 길을 점검하고 앞으로 무엇을 해야 할지 정리할 때 아주 큰 도움이 된다. 시간이 지나 회고를 볼 때 감회가 새롭기도 하다. 2년 동안 뭘 해 왔고 어떤 게 변화했는지, 앞으로 무얼 해야 하는지에 대해서 거창하게 적어 보려고 한다

 

처음과 뭐가 달라졌나

처음에 입사했을 때는 감자가 아닌 먼지 수준이었다 그때 했던 질문 수준을 생각하면 쥐구멍에 들어가고 싶을 정도 우리 팀 감사합니다 어떻게 그런 질문에 대답을.. 지금은 먼지에서 감자로 승급했다!! ^^ 주어진 지시 사항이 뭔지 파악할 수 있고, 해결하기 위한 방법을 찾는 노하우도 생겼다. 처음에는 A 하라고 했는데 B 하고 있던 일이 허다했다 회사의 업무 프로세스에도 적응했다 "코드를 작성하는 일" 외에 할 것이 많다는 것도 놀랐다 취업 전에는 그냥 IDE에 코드만 두들기고 있을 줄 알았는데 업무 특성 상 공부하고, 구글링하고, 책 읽는 게 대부분을 차지한다. 무에서 유를 생성하는 개발은 다 해 봤자 20 퍼센트 정도 되는 것 같다.

 

대부분의 업무는 이렇게 진행된다.

 

1. 프로젝트에 대한 보안 사항이나 비용 관련 검토가 최소 몇 달, 길게는 몇 년 진행된다. 다른 개발 직무와 다른 점 중 하나인 것 같다. 데이터, 클라우드, 클러스터 등등의 것들은 회사 입장에서 리스크가 크고 비용이 아주 많이 드는 가심비 프로젝트이기 때문에 시작이 참 오래 걸린다..

 

2. 무슨 기술을 쓸지 공부한다. 자바? 파이썬? 단순 언어를 정하는 게 아니라 진짜 무슨 기술을 써야 하는지 공부해야 한다. 하둡, 스파크, 카프카, 도커....... 하나의 서비스를 구성하는 기술이 이렇게나 많다니 그리고 이걸 또 다 이어지게 만들어야 한다니

 

3. 설계한대로 설치한다 이게 제일 짜증 난다 파이썬 라이브러리 버전 하나조차 조금만 어긋나면 돌아가지를 않는다 서버 환경과 오픈소스와 라이브러리 등의 버전이 전부 호환될 수 있도록 완벽한 상태로 맞춰야 한다 큼지막한 것 하나만 설치하는데 거의 한달은 든다 하고자 하는 서비스에 맞게 설정도 하나하나 뜯어 바꿔준다

 

4. 제대로 돌아가는지 확인한다. 좀 삐그덕대도 원하는 기능을 수행하면 일단 한숨 돌린다 마치 이것처럼

 

5. 운영을 하면서 생기는 에러와 보충해야 할 기능들을 채운다. 계속계속.. 영원히.. 그럼 코드와 디렉토리가 누더기가 된다

 

6. 리팩토링을 결심한다

 

현재 나는 A 서비스의 6단계와 B 서비스의 1단계를 겪고 있다 리팩토링은 반년 전부터 결심했지만 환경을 바꾸기로 해서... 눈가리고 무시하는 중이다 두 번 일 안하고 한 번 일하지 뭐!! ㅋㅋ 사실 거의 다 했는데 마무리 단계에서 변경 사항 있다는 말을 듣고 속으로 눈물을 흘렸다 미리 말해주지 미리 말해주지!!!!!!!!!!!!!!!!!!!

 

일하면서 느낀점

"개발 능력" 이 뛰어난 사람이 좋은 개발자는 아니다 나는 여전히 감자다 그러나 나를 나쁜 개발자라고 생각하지는 않는다

일정 수준만 도달하면 누구든 원하는 서비스를 만들어낼 수 있다 내가 개발을 못해도 도와줄 동료들과 챗 GPT, 구글이 있기 때문에 개발 능력이 부족하다고 해서 업무에 큰 차질이 생기지는 않는다 처음에는 모르는 게 생기면 부끄럽고 자책도 많이 했는데 지금은 GPT든 옆사람한테든 물어본다 그럼 그냥 해결이 된다

중요한 것은 주어진 비용 안에서 어떻게 완성할 것이냐인 것 같다 그러기 위해서는 많은 고민을 해야 한다 여러 기술을 알고 있고 올바르게 선택할 줄 알아야 한다 인프라에 대한 지식을 미친듯이 요구하는 직무이다 그리고 그것들을 잘 엮어서 데이터를 보관한다 사실상 이게 데이터 엔지니어의 전부인 것 같다