Thinkering Tinkering

pip의 대안으로 자리 잡은 uv를 사용하면 가상환경 생성, Python 버전 관리, 패키지 설치를 한 번에 처리할 수 있다. 이 글에서는 uv를 설치하고, Apple Silicon 맥에서 PyTorch를 올린 뒤, MPS(Metal Performance Shaders)로 GPU를 활용하는 방법까지 차례대로 확인해본다. [Read More]

Git 명령어는 종류가 많지만, 실제로 자주 쓰는 것들은 생각보다 많지 않다. 문제는 그 자주 쓰는 명령어조차 막상 필요할 때마다 다시 검색하게 된다는 점이다. [Read More]

이전 글에서는 hover를 위한 reward와 termination 조건을 정리했다. 이제 남은 일은 이 조각들을 하나의 강화학습 환경(environment)으로 묶는 것이다. 그래야 PPO나 SAC 같은 알고리즘이 HoverPilot을 일반적인 Gymnasium 환경처럼 다룰 수 있다. [Read More]

이전 단계까지 진행하면서 state와 action은 이미 연결해 두었다. 이제 남은 것은 강화학습에서 가장 중요한 요소 중 하나인 보상 함수(reward)를 설계하는 일이다. reward는 에이전트가 무엇을 잘한 것으로 판단할지를 정의하는 기준이며, 학습이 어떤 방향으로 진행될지를 결정한다. 결국 reward를 어떻게 설계하느냐에 따라 최종 학습 결과도 크게 달라진다. [Read More]

이전 글에서는 RealFlight Link를 통해 상태를 읽어올 수 있었다. 이제 한 단계 더 나아가서, 실제로 조종 신호(action)를 보내는 단계로 넘어간다. 이 단계를 통해 시스템은 단방향이 아니라, state와 action이 오가는 루프를 이루게 된다. [Read More]