Is this machine playing?
Abstractの概要
本論文では、明示的なタスクや報酬、成功指標が与えられていない未知のシミュレーション世界に配置された際、コーディングアシスタントベースの身体化エージェントがどのように振る舞うかを調査しています。著者らは、市販のコーディングアシスタントを仮想の身体、自律的継続機能、永続的なテキストファイルメモリと組み合わせたアーキテクチャ「Eko」を導入し、シミュレーション上の島で30時間の実行を通じて13の独立したエージェントを評価しました。エージェントは、登攀、積み上げ、パターンの描画、スポーツの考案、実証実験の実施など、多様な活動に自発的に取り組みました。著者らはこれらの行動を「遊び」の4つの古典的な特徴に照らして分析し、蓄積された記述メモリがモデルの重み更新なしでオープンエンドな学習をどのように支援するかを検証しています。最後に、この自己主導型の経験と記述された知識が、下流の目標指向タスクへと効果的に転移することを示しています。
新規性
本研究は、事前に定義されたタスクや設計された内発的動機づけ報酬関数がなくとも、身体化された言語モデルコーディングエージェントにおいて遊びのような自己主導的行動が自発的に創発し得ることを実証しています。また、エージェントの外部化された人間可読なテキストメモリファイルを直接操作することで、オープンエンドな学習を分析し因果的にテストする手法を提供しています。
成果
30時間のオープンエンドな探索の後、30時間の経験を持つEkoエージェントは、複数タワーの建設、物体の配置、高速な投擲物のターゲット命中など、いくつかの評価タスクにおいて0時間のベースラインエージェントを一貫して上回りました。標的を絞ったメモリアブレーションにより、下流タスクの性能が記録された技術（岩の破壊や投擲前のジャンプなど）に因果的に依存することが確認され、記録された誤った信念を消去することで性能が向上することも明らかになりました。さらに、複数のエージェントがシミュレーション設計者すら知らなかったシミュレータのアフォーダンス（投擲時のジャンプ中間速度の継承など）を自発的かつ独立して発見しました。
論文の注目点
- Ekoは、自律的継続ループと永続的なファイルベースの意味・エピソードメモリを使用し、変更を加えていないLLMコーディングアシスタントを剛体物理シミュレーション世界に組み込みます。
- 外部目標がない状態でも、エージェントは自ら考案したルール、バリエーションを伴う反復、見立てによる変換、自己目的的な目標追求という「遊び」の4つの古典的特徴を自発的に示します。
- 経験を積んだエージェントは目標指向の評価において未経験のベースラインを上回り、因果的なメモリ編集によって、スキルや誤った信念が記述されたテキストファイルを介して保存・転移されることが確認されました。