수원대학교 K-MOOC 강의 '인공지능 HRI' 5주 차 강의 후기

수원대학교 K-MOOC 강의 '인공지능 HRI' 5주 차 강의 후기

안녕하세요 성미느입니다.

오늘도 마찬가지로 K-MOOC 강의 5주 차 강의를 듣고 강의 내용 정리 및 간략한 느낀 점 작성해보려고 합니다.

4주 차 강의 후기를 작성하려 했는데, 4주차 강의는 실습 위주 강의여서 정리할 수 없어서 5주 차로 넘어갑니다.

 

5주 차 강의내용 정리

5주차 학습내용

1. 딥러닝 주요 모델 및 이론

2. LSTM을 이용한 환율 예측

3. 강화 학습을 이용한 Mountain-Car 제어

 

파이썬, 텐서 플로우, 파이 토치 등의 도구들이 딥러닝 구현하는 데에 사용됨.

딥러닝의 적용분야에는 영상 분할, 영상 초해상도, 예술적 창조물 등에서 적용됨.

딥러닝 적용분야

위 사진의 맨 왼쪽처럼 어떤 사진인지 알 수 없는 사진들도 딥러닝을 이용하면 정확하고 깔끔한 사진으로 바꿀 수 있다.

예술적 창조물

21세기 가장 재미난 아이디어로 선정되기도 했다는데, 어떤 그림이나, 음악을 원하는 스타일의 그림과 음악으로 바꿀 수 있다고 한다. 예를 들자면 반 고흐 풍의 그림이라든지, 모차르트 풍의 음악을 만들 수도 있으며, 트로트 음악을 모차르트 풍으로 변경할 수 있다든지 하는 역할도 해낼 수 있다고 한다.

이 외에도 유명한 딥 페이크, GPT(Generation Pretrained Transformer)등의 분야에서 적용이 된다고 함.

 

딥러닝 모델에는 CNN - 합성곱 신경망이라 불림 / LSTM - CNN을 포함해 음성 등 시계열 데이터 학습에 쓰임. / DQN - 알파고에도 사용된 강화 학습 등 다양한 모델 등이 있음.

 

LSTM (Long Shor Term Memory) 시계열 변화 예측으로, 잊을 것은 빨리 잊고 기억할 것은 더 오래 기억하는 구조임. 오래 기억하기 위해 새로운 특징을 더해 나가는 Cell state와 계층의 출력을 다음 스텝으로 넘기며 학습하는 Hidden state가 있음. 

LSTM은 Sigmoid와 tanh의 특성을 활용해 결과치를 출력하고 학습함.

환율 값 예측

이 LSTM을 통해 환율 변화를 예측할 수도 있음!!

 

강화 학습 = Reinforce Learning = Q학습

어떤 환경 하에서 임의의 행동을 취하고 상태가 개선되었으면 보상을 받아 Q값을 높여가는 학습 -> 정답을 알 수 없는 경우 최적화, 성능 향상을 위해 사용.

 

DQN (Deep Q Learning) = Deep Learining + Q Learning

딥러닝과 Q학습을 결합한 형태

 

요약

CNN (Convolution Neural Network) = 이미지의 특장점 등을 이용해 이미지를 압축하고 학습하는 딥러닝 모델

LSTM (Long-Short Term Memory) = 음성, 문장, 환율, 주식, 일기예보 등과 같이 시간적으로 변하는 데이터를 학습, 예측하기 위한 딥러닝 모델. RNN(Recursive Neural Network)이 더욱 발전된 모델.

Q-Learning = 로봇의 제어 등과 같이 정답을 알 수 없는 경우에 적용하는 모델. 학습이 진행됨과 함께 보상을 통해 현재 상태와 행동을 변경해가는 최적화 모델 / CNN과 함께 사용해 DQN(Deep Q Learning) 모델을 구축할 수 있음

 

느낀 점

점점 더 어려워지는 인공지능 HRI...............

대코캠으로 배운 코딩으로 해결할 수 없는 문제가 너무 많았음........ 교수님 왜 이렇게 어려워요 정말

평소 퀀트 투자, 계량경제에 대한 관심이 있었는데, LSTM을 이용하면 환율예측이나 주가 예측을 할 수 있다는 사실을 보고 LSTM 관련한 강의를 좀 더 열심히 듣긴 했으나 아직 모르는 게 너무 많기도 하고, 공부한 것도 많지가 않아서 어렵다..

실습도 2, 3주 차에 비해 4주 차, 5주 차에서는 점점 더 늘어나고 있음.. 이제부터 드디어 인공지능 HRI는 코딩 실습과목이 되어버린 느낌..!!

ICT 공부가 정말 어렵구먼ㅠㅠ