Toward Generalist Autonomous Research via Hypothesis-Tree Refinement
Abstractの概要
本論文では、自律的な研究を長期的な最適化問題として捉え、それを自律的最適化（AO）として定式化している。ここでは、エージェントは開発フィードバックを用いてアーティファクトを反復的に改善しつつ、採用決定のためにホールドアウト評価を保留しなければならない。提案システムのArborは、長期的なコーディネーターと短期的なエグゼキューターを組み合わせ、仮説ツリーの改良（HTR）を通じて探索プロセスを構築する。このHTRは、仮説、アーティファクトのバージョン、証拠、および抽出された洞察を結びつける永続的なツリーである。タスクの汎用性と長期的な機械学習エンジニアリングのパフォーマンスを評価するため、モデルの学習、ハーネスエンジニアリング、データ合成にわたる6つの実際の研究タスクと、MLE-Bench Liteを用いて検証を行っている。
新規性
最大の貢献は、実験を局所的な試行の平坦な連続として扱うのではなく、自律エージェントの運用的な研究状態として永続的な仮説ツリーを使用している点である。さらに、Arborはこの構造をコーディネーターとエグゼキューターの分離、およびホールドアウトへのマージゲートと組み合わせることで、再利用可能な洞察と検証済みの改善が監査可能な形で経時的に蓄積されるようになっている。
成果
6つの実際のAOタスクすべてにおいて、Arborは最高のホールドアウト結果を達成し、同じインターフェースとリソース予算の下でCodexやClaude Codeの平均相対ホールドアウトの2.5倍以上の改善をもたらしたと報告されている。MLE-Bench Liteでは、ArborはGPT-5.5を用いて86.36%の「Any Medal」を達成し、比較の中で最も強力な結果であると述べられている。アブレーション分析では、ツリー構造と洞察の伝播の両方が大きく貢献しており、いずれかを削除するとパフォーマンスが低下することが示されている。
論文の注目点
- Arborは、反復を通じて仮説、実装への参照、評価の証拠、および抽出された洞察を保存する永続的な仮説ツリーとして研究の進捗を表現する。
- 本フレームワークは全体的な戦略と局所的な実行を分離し、長期的なコーディネーターがフロンティアの拡張・刈り込み・ホールドアウトへの承認を管理する一方で、短期的なエグゼキューターが隔離されたワークツリー内で仮説に基づく実験を実行する。
- 経験的に、本手法はモデル学習、ハーネスエンジニアリング、およびデータ合成タスクにわたって幅広い向上を示しており、この改善は単に大きなトークン予算を使ったからではなく、構造化された証拠の蓄積によるものであると論じられている。
参考リンク
- arXiv: https://arxiv.org/abs/2606.11926v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.11926v1
- Hugging Face Papers: https://huggingface.co/papers/2606.11926