어느덧 데이터 엔지니어라는 직업으로 회사에 지내게 된 시간이 2 년이 다 되었다. 아직 완전히 2년은 아니지만! 원래 1년 정도 지났을 때 한번 정리를 하려고 했는데 생각보다 시간이 많이 지나가 버렸다. 처음 취업했을 때는 나도 연차가 빨리 차서 주도적으로 일을 하고 싶다!! 나도 그쯤 되면 회의에서 멋있게 말할 수 있겠지? 라고 생각했는데.. 아니요 전 아무것도 몰라요그저 앉아있는 감자라고요 그나마 GPT의 덕으로 1인분(?)은 하는 사원이 되었다.GPT가 없었더라면.. 감자가 아니라 강낭콩 정도였을 듯. 2주년 기념 돌아보기회고는 내가 온 길을 점검하고 앞으로 무엇을 해야 할지 정리할 때 아주 큰 도움이 된다. 시간이 지나 회고를 볼 때 감회가 새롭기도 하다. 2년 동안 뭘 해 왔고 어떤 게 ..

개요인텔리제이와 LLM을 연동하려면 Proxy AI라는 플러그인을 사용한다. 이 플러그인은 대화형을 지원하기 때문에 AI 모델도 대화형이 지원되는 걸 다운로드해야 한다. 모델 이름에 Instruct 가 붙어 있는 게 대화형을 지원하는 모델이다. 대화형을 지원 안 하는 모델도 사용 가능하지만 벽에다 대고 말하는 것 같은 기분이 드니까 처음부터 Instruct 가 붙어 있는 모델을 다운로드 하자. 허깅페이스에서 CodeLlama-34B-Instruct-GGUF 모델을 다운로드 받았다.CodeLlama: 모델명34B: 모델 파라미터 수 (340 억)Instruct: 대화형 지원GGUF: 경량 파일 포맷 (로컬 환경에서도 빠르게 실행할 수 있음)https://huggingface.co/TheBloke/CodeL..

📅 4월 셋째 주 있었던 일허깅페이스에서 AI 모델 다운받아 서버에서 사용해 봤다 이런 경험 너무 좋다 허깅페이스 완전 신세계 똑똑한 사람들이 만들어 놓은 모델을 가져다 쓰기만 하면 된다니 🏃 Keep운동을 꾸준히 갔다월요일에는 진짜 가기 싫었는데 막상 가니까 너무 재미있었다 수요일에는 그런 마음 없이 내가 가고 싶어서 운동을 하러 다녀왔다 배달음식 시켜먹지 않고 집에서 해먹었다딥그린파스타를 해 먹었다 내가 생각한 비주얼은 아니었지만.. 새로운 음식을 만들어 먹으니까 기분도 환기되고 좋았다새로운 업무를 받고 해냈다!!엄청난 건 아니지만 새 업무 받고 지시사항대로 마쳤다 뿌듯하다 이런 성취감 얼마만인지그 업무를 마치고 잊어버리지 않게 바로 블로그에 포스팅했다밤 12시 전에 누워서 자려고 했다 🚩 Pr..

🔶 1. 모델 다운로드https://huggingface.co/facebook/nllb-200-distilled-600M/tree/main facebook/nllb-200-distilled-600M at mainDetected Pickle imports (3) "torch.FloatStorage", "torch._utils._rebuild_tensor_v2", "collections.OrderedDict" What is a pickle import?huggingface.co 허깅페이스 (HuggingFace) 에 접속files and versions 탭을 눌러 파일을 하나하나 다운로드한 폴더에 담아 압축해서 폐쇄망에 전송한다 🔶 2. 필요한 라이브러리 설치다운 받아야 할 라이브러리 (환경마다 다를..

🔶 Config 파일을 수정해야겠다데이터 ETL 코드를 전체적으로 리팩토링 하고 있다. 환경도 다양하고, 데이터 타입도 다양하다 보니 ETL 환경 설정이 여러개인데, 전역 변수로 나와 있는 것들을 config로 다 정리해야겠다고 마음먹었다. 전역 변수로 적게 되면 오염될 가능성이 있고, 휴먼 에러가 발생할 확률이 높다. 그러나 이걸 config 파일에 한번에 정리해 두고, 검토만 한다면 휴먼 에러는 확실히 줄어들 것이다. 그리고 필요힌 변수를 받고, 만들어내는 과정도 config 파일에 잘 정의만 헤둔다면 줄일 수 있을 것이다. ❓그렇다고 config 파일이 없었냐?그건 아니다. 암호화 정보나 DB 접속 정보 등 기본적인 것은 다 Config 파일로 관리하고 있다. 그러나 파일 경로와 접속 정보들이 파..

Keep지시받은 사항에 대해서 내가 한번 더 찾아보고 의견을 공유했다타팀과 커뮤니케이션이 필요할 경우 조언을 구했다궁금한 게 있으면 끝까지 찾아보고 챗GPT와 심도 깊은 이야기를 나누었다병원에 꼬박꼬박 잘 갔다 Problem운동을 안 했다평소보다 배달 음식을 자주 시켜 먹었다마지막 주에 물욕이 생겨서 쓸데 없는 소비를 했다 Try소비를 할 거면 그걸로 수익 창출을 해 보자운동 빠지지 말자 일단 운동하러 가자잘 자기.. 12시 전에 침대에 누워서 불안해하지 말고 자기도커 쿠버네티스 머신러닝 위주로 스터디하기특히 도커 쿠버네티스 실습해 보기업무 관련해서 습득한 지식 블로그에 짧게라도 적기완벽하게 하고 싶어서 시작조차 못하는 것들이 너무 많다 사실 회고도 잘 정리해서 적고 싶은데 그럴 힘이 없다 3월은 전체적..