IonosphereFDTD - 지표와 전리층이 구성하는 도파관의 시뮬레이션
지표와 하부 전리층 사이에서 ELF 전파가 전파되어 간다
By 전경원
왜 지구-전리층 도파관을 통째로 모델링할까
[Read More]
-
-
EdgeTrader - 강화학습 기반 암호화폐 자동매매 프로젝트를 시작하며
모델보다 데이터와 비용 모델을 먼저 세우기로 한 이유
By 전경원
강화학습으로 RC 비행기를 조종하는 HoverPilot 작업을 하면서, 시뮬레이터 대신 실제 시장 데이터를 상대로 같은 접근을 시도해보고 싶다는 생각이 들었습니다. 그 결과가 EdgeTrader입니다. 코빗의 암호화폐 시장 데이터를 실시간으로 모으고, 강화학습 정책을 훈련해 매매 결정을 내리고, 최종적으로 NVIDIA Jetson 위에서 추론과 주문 실행을 돌리는 시스템을 목표로 합니다. [Read More] -
HoverPilot - 크게 기울어진 자세에서 회복하도록 훈련하기 (upset recovery)
쉬운 환경에서만 학습한 정책은 큰 시련을 극복하지 못한다
By 전경원
이전 글에서 네 채널 전체 제어를 축별 구조로 합쳐 안정적인 호버를 세웠지만 마지막에 한계를 하나 적어 뒀습니다. 이득과 트림이 안정 상태 근처의 작은 오차를 줄이도록 맞춰져 있어서 크게 기울어진 뒤에는 회복이 눈에 띄게 약했습니다. 실제로 제어 시작을 조금만 늦춰 기체가 기운 상태에서 정책에 맡기면 평형으로 돌아오지 못하고 그대로 추락했습니다. [Read More] -
HoverPilot - 한 채널씩, 두 채널씩, 차근차근 훈련하기
네 채널 전체 제어를 PPO로 학습하고 검증한 기록
By 전경원
이전 글에서는 제어 채널을 엘리베이터 하나로 좁혀서, 관측의 부호를 물리적으로 맞추고 위치 복원을 목표 프레임으로 옮기면 순수 PPO도 호버를 세운다는 걸 확인했습니다. 마지막에 남긴 숙제는 이 구조를 나머지 채널로 넓히는 일이었습니다. 이번 글은 aileron, rudder, throttle을 하나씩, 그 다음은 둘씩 묶어 훈련해 가며 호버링 훈련을 해 나아간 기록입니다. [Read More] -
HoverPilot - 자유도를 하나로 제한하고, 훈련을 진행해보자
환경을 단순화하면 문제점을 쉽게 찾을 수 있다
By 전경원
이전 글에서는 PPO 학습에 TensorBoard 로깅을 붙여 정책이 꼬리부터 착지하는 이유를 지표로 들여다볼 수 있게 만들었습니다. 모니터링 도구는 갖췄지만 4개 채널을 한꺼번에 학습하다 보니 실패 원인을 골라내기 어려웠습니다. 자세가 무너진 건지, 보상 설계가 잘못된 건지, 부호가 뒤집힌 건지, 아니면 통신이 끊긴 건지 후보가 너무 많았습니다. [Read More]