[12] KT AIVLE 3기 ai트랙 - 에이블스쿨 9주차

1. 이번 주의 구성 (3.27. ~ 31.)

언어지능 딥러닝 (RNN, LSTM, GRU, 임베딩, seq2seq)

 

 

2. 조금은 독특한(?) 강사님

그동안 수업해주신 에이블 스쿨 강사님 중에 가장 웃겼던 것 같다. (+약간의 부담, 약간의 투머치토커... ㅋㅋㅋ)

대학원을 안간다고 생각했을 때, 현실적으로 취업할 수 있는 길을 설명해주시기도 해서 내 미래를 다시 한번 고민해보는 시간이었다. 에이블러들 사이에서 약간은 호불호가 갈렸던 것 같은데 나는 호에 가까웠다. 어짜피 수업으로 이해할 수 있는 내용은 한계가 있기 때문에 현실적인 얘기를 해주시는 것에 끌렸던 것 같다. 물론 진도를 다 못뺀건 아쉽지만,, 어짜피 공부는 혼자 더 해야하니까!!

 

 

3. 다시 만난 RNN과 seq2seq

아~~주 먼 과거, 빅콘테스트에서 사용했던 LSTM과 seq2seq를 다시 대면하게 되었다. 그 때 당시에는 '과거의 정보가 전달돼서 시계열 분석에 사용된다' 개념만 가지고 모델링에 써먹었는데, 이번에 수업을 들으면서 어떤식으로 작동하는지 매커니즘을 이해하게 되었다. 특히 LSTM의 gate 개념이 굉장히 흥미로웠다. 모델이 어느 과거 시점은 증폭을 시키고 어느 과거 시점은 잊는 연산과정을 통해서 시간을 반영한 feature representation을 진행한다고 보면 될 것 같다. 물론 RNN의 역전파까지는 수업에서 제대로 다루지 않아서 수식이 어떻게 되는지는 모르겠지만... 과거의 정보를 반영한다는 컨셉은 확실히 이해했다. 나중에 BPTT는 꼭 따로 공부를 해봐야겠다.

그래... RNN도 금붕어고 나도 금붕어같다...

 

 

4. 재미는 있어보이지만 그래도 어려운 NLP

언어학에 대한 도메인 지식이 없어서 그런걸까? 정형데이터는 피쳐명을 보고 '어떤 수치이고 대략 어떤 의미가 있겠군' 이런 flow가 그려지는데 비해서 텍스트 데이터는 임베딩이 와닿지 않아서 조금 어려웠다. NLP 쪽 채용공고를 보면 종종 언어학과 나온 사람들을 뽑던데 아마 이 이유때문인 것 같다. 모델 그 자체보다는 데이터를 모델에 어떻게 넣는지, 즉 전처리에 따라 성능이 달라지는 걸 많이 경험했는데 NLP에서도 아마 그러겠지? NLP를 활용해서 미프도 진행될텐데 기대가 된다.