올해 목표 중 하나였던 ‘개발 컨퍼런스 다녀오기’ 완료 기념 후기.
그간 코로나로 온라인 컨퍼런스만 참여해 봤는데 인원과 공간의 제약이 없다는 점은 좋았지만 내가 집중을 못해서 얻은 게 없었다는 문제가 있었다..(ㅋㅋ) 코로나가 좀 잠잠해지고 나서 하나둘씩 다시 오프라인 행사들이 열리는 것 같다. 온라인은 오히려 집중 못하는 나 같은 사람들에겐 희소식! 사실 말은 이렇게 하지만 컨퍼런스 직접 참여는 처음이라 초큼 떨리고 걱정되고(?) 그랬다고..
모두콘은 '모두의 연구소' 에서 개최하는 기술 컨퍼런스로 올해 벌써 5번째라고 한다. 인공지능과 관련된 주제로 열린다고 했는데 타임테이블을 보니 흥미로운 주제가 많아 냉큼 신청해 보았다. 이화여대에 ECC홀에서 열렸고 꽤 규모가 컸다. 다른 컨퍼런스처럼 동시간대 여러 장소에서 열리기 때문에 미리 보고 싶은 세션을 지정해 두고 갔다.
꼭 볼 세션으로는 '카카오 브레인의 이미지 생성 모델인 Karlo 개발기' , '언어모델은 어떻게 평가해야 할까?' , '모두를 위한 한국어 오픈 LLM' , '이미지 모델과 경량화'가 있었다. 아무래도 최근 Gen AI가 대세이다 보니 생성 모델에 대한 주제가 많았다. 실제로 Gen AI에 대한 논문도 이전보다 많이 증가했다고 어느 연사님께서 말씀하셨다.
카카오 브레인의 칼로는 어디서 주워들은 적이 있어서 궁금했는데 늦는 바람에 거의 듣지 못했다. 뒷부분하고 QnA만 들었는데 날카로운 질문들이 오가는 걸 보고 신기하기도 했고 사람들의 열정이 느껴져서 멋있었다. 나와는 다른 사람들...
사실 가장 기대했던 세션은 '언어 모델은 어떻게 평가해야 할까?' 였다. 이유는 GPT를 잠깐이지만 사용해 보면서 정량적 지표로 모델의 성능을 보여줄 수 없었다는 게 아쉬운 지점이었다. 일일이 결과를 비교해보고 또 나름의 기준을 세워서 성능 평가를 진행했지만 생성 모델의 경결과를 어떻게 정량적인, 수치적으로 평가할 수 있을까? 에 대한 답을 찾기 어려웠다. 한 때는 여기에 너무 집착한 나머지 정성적인 지표를 너무 괄시했던 적도 있었다. 해당 세션에 대해 자세히 얘기해도 되나.. 잘 모르겠는데 최근 등장한 데이터셋은 적지만 퀄리티가 보장된 그런 벤치마크도 소개해주셨고 그 외에도 오픈소스로 직접 벤치마크를 만드는 작업을 하신다고 하셨는데 오픈소스에 대한 얘기도 무척 흥미로웠다. 연사 분들이 나와 같은 직장인이신데 남는 시간에 사이드 프로젝트로 직접 개발도 하고 오픈소스 운영도 하신다는 게 대단하게 느껴졌다.
예정에는 없었지만 블록체인과 AI에 관련된 세션도 이어서 들었는데 잠깐이지만 블록체인과 코인에 대해 공부했던 적이 있어서 이 분야에 AI가 적용된다는게 신기하게 느껴졌다. 블록체인 기술의 특징 중 하나가 거래 데이터가 누구에게나 공개된다는 점인데 그래서 사용할 수 있는 데이터가 정말 방대하다. 비록 나는 그 많은 데이터를 어떻게 써야 할지 고민만 하다가 끝났지만 이를 활용해 코인 거래를 도와주는 등 AI 기술 더 많이 접목이 된다면 또 다른 새로운 것들이 나타나지 않을까.. 싶다. 여담이지만 블록체인과 비트 코인은 정말 너무너무 어려웠다. 코인? 이더리움? 트랜잭션? NFT? 이번 생애에 그 세계를 이해하는 건 불가능할 것 같다.
티켓 등록할 때 주신 샌드위치를 먹고 오후 세션을 이어서 들었는데 몰랐는데 연사님이 유명하신 분이라서 깜짝 놀랐다! 주로 영어로 학습되어있는 언어 모델들을 한국어화 하는 오픈소스 프로젝트를 하고 계신 분이라고 알고는 있었는데 그 과정을 실제로 들어볼 수 있다니!! 너무 신기했다. 점심 먹고 다음 세션이라 졸릴 줄 알았는데 아주 순식간에 지나간 25분이었다. 어떻게 데이터 수집하고, 토크나이징하고, 학습하고, 평가하고, 릴리스했는지 부족한 시간이었지만 일목요연하게 설명해 주셨다. 시간이 좀 더 길었으면 좋았을 텐데 아쉬운 마음이 들었다. 그리고 학습 시 필요한 컴퓨팅 리소스 및 돈! 이 많이 들었는데 어떻게 충당하셨을지도 궁금했지만.. 오히려 질문하면 내 밑천이 드러날 것 같아 차마 여쭤보진 못했다.
이후에 들은 이미지 모델 경량화 세션도 흥미로웠다. 나도 모델을 파인튜닝해서 딱 만들었는데 결과를 가져오기까지 시간이 너무 오래걸려서 모델 경량화 (but 성능은 유지되는)의 필요성을 느꼈었다. 모델 경량화라고 했을 때 나처럼 단순히 inference 시간을 줄이는 것도 있겠지만 연산 파라미터, 횟수, 메모리 사용량 등 다양한 부분에서 경량화를 진행할 수 있다는 점이 기억에 남는다. 이미지 모델에 대해서 중점적으로 말씀해 주셨지만 언어 모델도 학습 파라미터가 정말 어마무시하게 커지는 느낌이 들었는데 이런 경량화를 진행할 수 있다면? 경량화에 대한 니즈가 어느 AI 분야에서든 있을 것 같다는 생각이 들었다. 모델을 만드는 것만큼 경량화가 점차 중요해질 것이라는 생각이 들었다.
클로징하고 경품추첨도 있다고 했는데 아침부터 세션 챙겨듣겠다고 여기저기 다녔더니 힘들어서 일찍 집으로 귀가했다.
나는 현재 AI쪽에서 일하지는 않지만 한 때 배웠던 사람으로서 굉장히 재밌었다. 생성 모델과 NLP는 전부터 쭉 관심이 있었던 분야여서 그런지 설명해 주시는 내용들을 이해할 수 있었다는데 안도했다. (4년간의 지식이 휘발되진 않았어!!) 하지만 AI 분야는 워낙 트렌드가 빨라서 그런지 처음 듣는 그런 모델도 있었다. (최근에 google인가에서도 새로운 모델을 선보였다고 하던데 기억이 안 난다) AI를 또 일로써 직장에서 만나게 된다면 또 하기 싫고 어렵게만 느껴지겠지.. 하지만 그런 걱정 없이 강연을 들으니 재밌고 매우 유익한 시간이었다. 또 강연을 들으면서 굉장히 필기를 많이 했는데 오늘은 졸리니깐.. 내일 필기내용 정리해 보면서 혼자 공부하는 시간을 가져야겠다.
인생 첫 오프라인 컨퍼런스였는데 재밌었고 많은 인사이트를 얻어갈 수 있었다. 내년에도 참여하는 걸로! 오예~