2021년 회고

2021년 회고

저에게 특별했던 2021년을 잘 정리하여 기록하고 싶어서 글을 남깁니다.
2021년에는 코로나가 종식될 줄 알았는데, 올해도 여김없이 유지되었네요.
2022년에는 코로나가 종식되어, 더 따뜻한 연말이 되었으면 좋겠습니다.

저에게 2021년을 5가지로 표현하라 하면, 다음과 같이 표현할 수 있을 것 같습니다.

음성인식 프로젝트
학부 연구생
CLOVA AI RUSH
OpenSpeech 프로젝트
TUNiB 인턴

음성인식 프로젝트(1월 ~ 3월)

졸업 프로젝트로 딥러닝 기반의 음성인식 프로젝트를 진행하였는데, 겨울방학인 1 ~ 2월에 대부분 마무리했던 것 같습니다.
처음에는 입출력의 텐서 사이즈도 잘 모르고, 파이토치의 여러 가지 함수들도 잘 몰라서 도큐먼트를 껴안고 살았던 기억이 납니다.

또한, 학과 선배가 동기랑 같이 스터디를 진행해주셨는데, 매주 논문을 읽어 발표하고 깃허브를 참고하지 않고 해당 내용을 구현해오는 것이 과제였습니다.
저는 이때 밤낮 안 가리고 정말 열심히 했던 것 같고, 도움도 많이 주셔서 빠른 시간안에 많은 성장을 할 수 있었던 것 같습니다. (말이 스터디이지 거의 과외를 해주셔서… 정말 감사드립니다.)
이렇게 열심히 공부하고 구현해서 연구실 GPU로 직접 학습도 돌려볼 수 있었고, 결과도 확인하면서 조금 더 재미를 붙인 것 같습니다 ㅎㅎ

학부 연구생(3월 ~ 8월)

음성인식은 시퀀스 길이가 길어서 GPU 메모리를 많이 차지하는데, 연구실 GPU를 계속 사용하는 것은 한계가 있었습니다.
또한 주변에서 음성인식을 연구하고 있는 사람이 저랑 학과 선배밖에 없었습니다.
많은 사람과 함께 연구하는 것이 더 많이, 더 빨리 배울 수 있을 것으로 생각해서 관련된 스터디도 많이 찾아보았습니다.
그러던 중, 학교 건물에서 저희 과 교수님 연구실이 2020 인공지능 그랜드 챌린지 음성인지에서 3등으로 우수한 성적을 거두었다는 현수막을 보게 되었습니다.
조금 찾아보니 인공지능 그랜드 챌린지에서 입상하면 연구비를 지원받고, 내년에도 대회에 참가해야 하는 규칙이 있었습니다.
저는 GPU도 지원받고, 음성인식 연구도 같이하면서, 대회도 같이 참가하면 좋을 것 같다고 생각하였습니다.
그래서 교수님께 바로 메일을 보내게 되었고, 좋게 봐주셔서 학부 연구생으로 근무할 수 있게 되었습니다.
근무하면서 대학원 생활의 장단점과 시스템 등을 배울 수 있었던 것 같습니다.

CLOVA AI RUSH 2021(4월 ~ 7월)

페이스북과 같은 여러 커뮤니티를 통해 CLOVA AI RUSH 2021을 알게 되었습니다.
서류 심사, 코딩테스트를 통해 최종 합격자 150명을 선발하여 1라운드를 진행하고, 상위 70명이 2라운드를 진행하는 대회였습니다.
처음에는 지원할까 말까 고민을 조금 하였는데, 작년 대회 후기 글을 보고 지원하게 되었습니다.
대부분의 지원자가 공통적으로 대회를 통해 많이 배웠다고 적어주셔서, 저도 입상은 못 해도 좋은 경험이 될 것 같다고 생각하여 지원하게 되었습니다.

서류 심사도 통과하고, 운 좋게 코딩테스트도 통과하여 최종 합격자 150명 안에 들 수 있었습니다.
1 라운드에는 총 5개의 문제가 있었는데, 저는 CLOVA ML X팀의 스마트스토어 SKU단위 수요 예측문제에 도전하였습니다.
처음 보는 태스크여서 쉽지 않았는데, 여러 번 실험해본 결과 다행히 2등으로 2 라운드에 진출할 수 있었습니다.
2 라운드에서는 G플레이스AI개발팀의 글로벌 메뉴명 분석문제와, CLOVA ML X팀의 대규모 쇼핑 데이터를 활용한 일반적인 유저 임베딩 추출문제에 도전하였습니다. 종료 6시간 전까지 2등, 3등이였는데 마지막에 점수를 올리지 못하고 4등, 4등으로 대회를 마무리하였습니다.

이러한 컴피티션을 개인적으로 처음 경험해보았고, 처음 보는 태스크여서 쉽지 않았습니다. 하지만 대회 특성상 한 시간마다 한 번씩 제출할 수 있어서, 최대한 많이 제출해보려고 노력했습니다. 제출할 수 있는 한 번의 기회가 아까워서 강남역 버스 정류장에서 노트북을 켜고 핫스팟을 연결해서 제출했었던 기억이 나네요 ㅎㅎ 1등은 1,500만원, 2등은 700만원, 3등은 300만원 상금도 있어서 4등 한 것이 너무 아쉽기는 했지만, 좋은 경험도 했고 처음에 생각한 것보다 등수도 높아서 뿌듯함을 많이 느꼈습니다. 내년에도 기회가 된다면 참여해보고 싶네요 : )

OpenSpeech 프로젝트(5월 ~ 7월)

한국어 음성인식을 확장하여 영어, 중국어, 한국어와 다양한 음성인식 모델을 지원하는 음성인식 툴킷을 학과 선배랑 같이 만들게 되었습니다. 이 프로젝트의 이름이 OpenSpeech입니다.
PyTorch-Lightning과 Hydra를 주로 사용하였고, Fairseq에서 주로 사용되는 @register_*() 함수를 통해 모듈을 효과적으로 추가할 수 있도록 구현하였습니다.
사실 이 프로젝트를 진행할 때, 학부 연구생도 하고 CLOVA AI RUSH 2021도 하느라 시간이 많이 없어서 힘들었던 기억이 있습니다.

하지만, 많은 분이 사용해주시고 스타도 눌러주셔서 돌이켜보면 하기 잘했다는 생각이 듭니다.
지금은 바쁘다는 핑계로 관리를 많이 못 하고 있는데, 내년에는 조금 더 신경 써서 유지보수 해보겠습니다!!

TUNiB 인턴(8월 ~ 12월)

사실 2021년 목표가 연구실 인턴이나 기업 인턴을 경험해보는 것이였는데, 운 좋게 두 가지 모두 경험해볼 수 있었습니다.
처음 인턴 생활을 시작할 때는 GCP, AWS 같은 것들도 처음 사용해보아서, 마치 훈련소에 온 것처럼 낯설고 힘들었는데 역시 인간은 적응의 동물인 것 같습니다. TUNiB에서 NLP 엔지니어 인턴으로 근무하며, TUNiB-Electra 모델도 개발해서 공개할 수 있었고, 2021 인공지능 그랜드 챌린지에 나가 3등으로 좋은 성적을 거두기도 했고, 윤리 프로젝트도 진행해볼 수 있었습니다.
좋은 팀원들과 근무하며 제가 부족하다는 것을 많이 느낄 수 있었고, 배울 것이 참 많다는 것도 알게 되었습니다.
왜 사람들이 좋은 습관을 만들고, 주변을 좋은 환경으로 만들려고 하는지 조금은 이해가 갑니다.

인턴 생활을 TUNiB-Electra, 2021 인공지능 그랜드 챌린지, 윤리 프로젝트 3개로 나누어볼 수 있을 것 같습니다.

TUNiB-Electra(8월 ~ 9월)

TUNiB-Electra를 개발하며 대용량 데이터 전처리도 진행해보고, TPU로 사전학습 언어 모델도 학습시켜보고, 파인튜닝으로 결과표도 만들어보았습니다. 이 때를 돌이켜보면 처음해보는 것이 많아 여유가 없어서 넓은 시야를 가지지 못했던 것 같습니다.
예를 들어 파인튜닝 결과표를 작성할 때, 미리 표를 만들어놓고 빈칸을 채워나가는 형태로 진행해야 조금 더 넓은 시야로 프로젝트를 이해할 수 있는데 저는 그렇지 못했던 것 같습니다.
경험을 많이 해봐야 여유가 생기고, 여유가 생겨야 능률적으로 업무를 수행할 수 있다는 것을 배울 수 있었습니다.
이때는 하나하나가 크게 느껴졌는데, 지금은 그렇지 않은 것을 보면 많이 성장한 것 같아 뿌듯합니다 : )

2021 인공지능 그랜드 챌린지(10월 ~ 11월)

인공지능 그랜드 챌린지는 특이하게 저번 대회에서 입상한 팀들이 연구비를 지원 받고, 계속해서 챌린지에 참여하는 형태였습니다.
저희는 처음 나가기 때문에, 이전에 입상해서 연구비를 지원 받고 데이터를 많이 보유한 팀들과 경쟁하는 것은 사실 조금 불리한 상황이였습니다. 그래도 최선을 다해서 열심히 하였고, 3등으로 대회를 마무리할 수 있었습니다.
또한 IITP 원장상을 수여받았는데, 1등 하지 못한 것이 조금 아쉬웠습니다.
올해 컴피티션으로는 CLOVA AI RUSH와 인공지능 그랜드 챌린지에 참가하였는데, 1등을 한번도 하지 못하여서 내년에는 꼭 컴피티션에 참가하여 1등을 해보려고 합니다! :punch:

윤리 프로젝트(11월 ~ 12월)

올해는 GPT3보다 큰 빅모델들이 많이 나왔는데, 내년에는 개인적으로 윤리적인 문제가 조금 더 대두될 것으로 생각합니다.
이러한 점에서 윤리 프로젝트를 진행해보고, 깊게 생각해본 것이 인공지능 엔지니어로 성장하는데 밑거름이 될 수 있다고 생각합니다.

마치며

대학교 4학년이다보니 진로에 대한 고민도 많이 있었는데, 올해 많이 해결된 것 같습니다.
그리고 정들었던 광운대학교 대학 생활을 마무리하게 되었습니다. 학교 앞에서 자취도 하고 교내 알바도 많이 해서 학교에 있는 시간이 많았는데, 나중에 광운대 앞을 지나가게 되면 어떤 기분일지 궁금하네요.

1월부터는 리턴제로에서 음성 인식 연구를 하게 되었습니다.
내년에는 조금 더 여유를 가지고, 나무가 아닌 숲을 보면서 성장하고 발전할 수 있도록 노력하겠습니다.
관심 가져주시고, 읽어주셔서 감사합니다. 새해 복 많이 받으시고, 건강하세요 : )