[월간 회고] 2025년 6~7월 회고

Keep

RAG 구축해서 테스트해 봤다. 사내 시연까지 했다.

• 요즘 진짜 AI가 대세이긴 한가 보다.. 우리 팀 말고도 다른 팀들도 전부 다 AI 업무 하고 있다.
• 데드라인이 확실했던 프로젝트라 엄청 바쁘게 진행했다. 완벽하진 않지만 얼레벌레 할 일은 다 해서 뿌듯했다.
• 도커로 설치했는데 진짜 너무 편하다 제발 다 도커로 바꿔 버렸으면 좋겠다
• 처음부터 끝까지 내가 다 하는 거라 책임감도 많이 생겼지만 재미있게 하고 있다. 작은 거 하나하나에도 내 의사결정이 들어갔다.

 

사내 AI 환경 구축해서 개발 툴이랑 연동할 수 있게 해놨다

• 평소에 쓰고 있는 GPT 보다는 멍청하고 답답하지만 폐쇄망에서 이렇게 쓸 수 있게 만드는 게 어디야
• ㅠ.. 다른 팀 팀장님이 우리 팀 팀장님한테 혹평 하는 걸 들었다 아니 모델이 그런 걸 어카냐고요 서버가 이런 걸 어카냐고요ㅠ 왜 쥐똥만한 서버로 챗 GPT를 바라!!!!!!!! 좀 마상이었지만 내가 못해서 그런 건 아니니까 그냥 넘겼다 새로운 서버 받으면 더 좋은 모델로 빵빵하게 세팅해서 바꿔 봐야지
• loki, promtail, grafana로 API 로그 수집해서 시간별로 그래프랑 로그 확인할 수 있게 모니터링 대시 보드도 만들었다 맨날 서버 가서 확인했는데 이렇게 해 놓으니까 에러 로그만 따로 볼 수도 있고 웹 UI에서 로그 한번에 확인 가능하고 시각화도 가능해서 보기 편하다 내가 생각해도 이건 진짜 잘한 거 같다 이거 만들기 전에는 로그 보기도 싫었는데 web으로 볼 수 있으니까 맨날 옆에 켜 놓고 일한다

 

새로운 일을 시작했다

• 뭔지는 비밀.. 맨날 시작해야지 말만 했었는데 드디어 첫 걸음을 뗐다 시작하니까 별거 아니고 반응 보는 것도 재미있다.

이번 여름 효용성 미쳤다 나 혼자서 처음부터 끝까지 무언가를 시도하고 완료해본 경험들로 가득가득하다. 새로운 걸 하는 게 나에게는 제일 큰 자극이자 성장판이다. 내가 가장 많이 성장하고 깨달은 시기 중에 하나가 되지 않을까..

Promblem

데이터 파이프라인에서 정합성 문제가 일어났다.

데이터에 개행 문자가 들어 있어서 하이브로 갈 때 row가 분리됐다. DB에서 직접 데이터를 봤을 때나 스키마를 봤을 때 절대 개행 문자가 들어갈 리 없을 것 같았던 데이터였는데.. 확인해 보니 다른 곳에서도 개행문자 발견됨.. 미쳐 버림.. 일단 개행 문자 제거하는 과정을 추가했다. 원래는 선택한 일부 컬럼만 이 과정을 거쳤었는데 그냥 전부 다 개행문자가 포함되어 있는지 살피고 없앤다. 지금 확인했을 때 당장 없다고 해도 나중에 생길지 모르는 거니까. 똑같은 문제가 두 번은 일어나지 않게 조치를 하는 게 맞지 않겠는가..?

데이터 적재 후에도 정합성 문제를 해결할 방법이 없을까 고민 중이다. 모든 데이터를 하나하나 다 비교하자니 리소스 문제가 발생한다. 그래서 내가 생각한 건 row수 일치 확인하고, pk값의 중복, pk 값의 길이를 확인하면 되지 않을까 싶다. 이걸로 모든 데이터의 정합성을 맞출 수 있을지는 모르겠지만, 그래도 상당 수의 데이터의 정합성을 지키는 데 도움이 될 거 같다. deequ라는 게 있길래 그걸 적용해 보려고 한다. 

 

운동 안 함

7월에 수영 딱 한 번 갔다. 그냥 환불할 거다. 수영 질린 듯.. 일단 수영장이 너무 멀어서 조금만 힘들거나 날씨가 안 좋으면 그 핑계로 안 간다. 그래서 회사 앞에 헬스장 있어서 등록하려고 했는데 만원이다.. 봄에 신청했을 때는 진짜 텅텅이었는데 왜.. 그래서 일단 수영 그만 두고 다른 운동 시작해야겠다. 운동은 해야겠고 수영은 하기 싫고.. 러닝은 밖에 벌레가 너무 많고 덥다ㅠ 테니스 생각 중

 

식습관

걍 막 먹음 몸도 피부도 난리 나서 병원비로 백만원 썼다 미침

Try

• 건강하게 먹고, 운동하고, 11시에 잘 것. 내 올해 최대 목표는 건강한 생활 습관을 잡는 것이다.
• deequ 적용해서 데이터 품질 검증할 수 있게 만들어 놓기
• rag 성능 개선 알아보기 (리트리버 다양하게 적용해 보고, 평가할 수 있는 거 만들어서 점수 관찰하기)