Object-Oriented Harness: Evolving Agent Harnesses through Object-Oriented Design
Abstractの概要
本論文では、オブジェクト指向設計を用いて実行可能クラスの階層を進化させることで、言語エージェントハーネスを最適化するフレームワークであるOO-Harnessを提案しています。単一のグローバルなハーネスに依存する代わりに、本手法は継承、メソッドオーバーライド、メソッド追加を通じて特化したサブクラスを作成し、ルーターがタスク記述、ベース実行トラジェクトリ、および訓練中に収集されたルーティングの教訓に基づいて各タスクに適したハーネスを選択します。本フレームワークは固定された実行モデルを用いて探索タスク上でハーネスを進化させ、汎化性能を評価するために重複のない未知のタスクで評価されます。著者らは、ビジネスワークフロー、ワークスペースタスク、マルチツールタスク完了を網羅する3つの長期ホライズンベンチマークで本アプローチを評価し、ルーティング入力と階層的継承に関するアブレーション実験も実施しています。
新規性
主な貢献は、ハーネスの最適化をオブジェクト指向プログラムの進化として定式化し、特化したハーネスを親ハーネスのコードを継承により再利用・拡張するサブクラスとして実装した点です。本フレームワークは、この階層的コード進化と、蓄積されたルーティングの教訓および観測可能なベーストラジェクトリを活用してベースハーネスを再利用するか特化クラスにディスパッチするかを決定するルーターを組み合わせています。
成果
AutomationBench、Workspace-Bench、Toolathlon-GYMにおいて、OO-Harnessはグローバルハーネス最適化ベースライン、特化ハーネスファミリ、テスト時スケーリングバリアントを含む評価対象手法の中で最も高い主要スコアを達成しました。進化前のベースハーネスと比較して最大15.79ポイントの絶対的な改善を示し、AutomationBenchで77.41% Mean、Workspace-Benchで39.48% Mean、Toolathlon-GYMで37.45% PASSに達しました。アブレーション実験により、トラジェクトリに基づくルーティングと継承ベースの階層構造の双方が性能向上に測定可能な形で寄与していることが確認されました。
論文の注目点
- OO-Harnessは実行可能なハーネスのクラス階層を進化させ、単一のグローバルなハーネスを維持するのではなく、継承を通じて的を絞った実行戦略を追加できるようにします。
- テスト時には、ハーネスルーターがタスク記述、観測可能なベース実行トラジェクトリ、クラス記述、および学習されたルーティングの教訓を利用して、ベースハーネスの再利用か特化サブクラスの選択かを決定します。
- 実証的評価とアブレーションにより、サブクラスの特化、コードの再利用、トラジェクトリに基づくルーティングの組み合わせが、未知のタスクの完了率を向上させ、不慣れな分布外タスクにおいても強力なベース性能を維持することが示されています。