Thinkering Tinkering

강화학습으로 RC 비행기를 조종하는 HoverPilot 작업을 하면서, 시뮬레이터 대신 실제 시장 데이터를 상대로 같은 접근을 시도해보고 싶다는 생각이 들었습니다. 그 결과가 EdgeTrader입니다. 코빗의 암호화폐 시장 데이터를 실시간으로 모으고, 강화학습 정책을 훈련해 매매 결정을 내리고, 최종적으로 NVIDIA Jetson 위에서 추론과 주문 실행을 돌리는 시스템을 목표로 합니다. [Read More]

이전 글에서 네 채널 전체 제어를 축별 구조로 합쳐 안정적인 호버를 세웠지만 마지막에 한계를 하나 적어 뒀습니다. 이득과 트림이 안정 상태 근처의 작은 오차를 줄이도록 맞춰져 있어서 크게 기울어진 뒤에는 회복이 눈에 띄게 약했습니다. 실제로 제어 시작을 조금만 늦춰 기체가 기운 상태에서 정책에 맡기면 평형으로 돌아오지 못하고 그대로 추락했습니다. [Read More]

이전 글에서는 제어 채널을 엘리베이터 하나로 좁혀서, 관측의 부호를 물리적으로 맞추고 위치 복원을 목표 프레임으로 옮기면 순수 PPO도 호버를 세운다는 걸 확인했습니다. 마지막에 남긴 숙제는 이 구조를 나머지 채널로 넓히는 일이었습니다. 이번 글은 aileron, rudder, throttle을 하나씩, 그 다음은 둘씩 묶어 훈련해 가며 호버링 훈련을 해 나아간 기록입니다. [Read More]

이전 글에서는 PPO 학습에 TensorBoard 로깅을 붙여 정책이 꼬리부터 착지하는 이유를 지표로 들여다볼 수 있게 만들었습니다. 모니터링 도구는 갖췄지만 4개 채널을 한꺼번에 학습하다 보니 실패 원인을 골라내기 어려웠습니다. 자세가 무너진 건지, 보상 설계가 잘못된 건지, 부호가 뒤집힌 건지, 아니면 통신이 끊긴 건지 후보가 너무 많았습니다. [Read More]

이전 글에서는 PPO 학습 루프를 돌렸을 때 정책이 hover 대신 꼬리부터 착지하는 방향으로 수렴하는 것을 보고 reward 구조 때문일 거라는 가설을 세웠습니다. 그런데 이 가설을 확인하려면 먼저 학습 도중 무슨 일이 벌어지는지 볼 수 있어야 했습니다. [Read More]