論文の概要: Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3

• arxiv url: http://arxiv.org/abs/2610.30499v1
• Date: Wed, 21 Oct 2026 22:29:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.168938
• Title: Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3
• Title（参考訳）: LLMは自身のハーネスを向上できるか?ARC-AGI-3の制御研究
• Abstract要約: ARC-AGI-3は、エージェントが未知の環境を探索しなければならない対話型ベンチマークである。 私たちは、フロンティアモデルでこのようなハーネスを独自に構築し、改善できるかどうか尋ねる。
• 参考スコア（独自算出の注目度）: 7.208283909718336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A generally intelligent system acquires new skills efficiently without requiring humans to redesign its software scaffold for every new task. Yet language models rarely act alone. A harness is a symbolic program that orchestrates calls to the model, handling perception, memory, tool use, recovery, and inference allocation on the model's behalf. ARC-AGI-3 is an interactive benchmark in which agents must explore unfamiliar environments, figure out their goals on the fly, and keep learning as they go. On it, human-steered systems already report ceiling scores across the public games, so we know effective designs exist. We ask whether frontier models can build and improve such a harness on their own. Through a fixed coding bootstrap, each model constructs a complete task harness, acts through that harness on five development games, and revises the entire codebase twice. Every version is evaluated on twenty games that never influence adaptation. We measure task performance with Relative Human Action Efficiency (RHAE), which combines level completion with action efficiency relative to human baselines, and record dollar-denominated inference cost as a practical resource measure. Across 27 lineages, harness performance ranges from zero to near-ceiling scores. Two revisions raise mean held-out RHAE by only 2.80 points (95% interval [-1.44,7.35]). Development gains overstate held-out improvement, and reductions in inference cost can come at the expense of task performance. Human-steered systems demonstrate further headroom. These findings reveal a gap between autonomous harness construction and reliable adaptation under this two-revision protocol: even strong task performance does not ensure that subsequent revisions generalize or preserve existing capabilities.
• Abstract（参考訳）: 一般的にインテリジェントなシステムは、人間が新しいタスクごとにソフトウェア足場を再設計する必要なしに、新しいスキルを効率的に獲得する。 しかし、言語モデルが単独で行動することは滅多にない。 ハーネスは、モデルへのコールを編成し、知覚、メモリ、ツールの使用、リカバリ、モデルに代わって推論アロケーションを処理する象徴的なプログラムである。 ARC-AGI-3は、エージェントが未知の環境を探索し、その目標をその場で把握し、学習を続けるためのインタラクティブなベンチマークである。 人間が操縦するシステムは、すでに公開ゲーム全体で天井スコアを報告しているので、効果的なデザインが存在することはわかっています。 私たちは、フロンティアモデルでこのようなハーネスを独自に構築し、改善できるかどうか尋ねる。 固定されたコーディングブートストラップを通じて、各モデルは完全なタスクハーネスを構築し、5つの開発ゲームでそのハーネスを通して動作し、コードベース全体を2回修正する。 全てのバージョンは、適応に影響を与えない20のゲームで評価される。 RHAE(Relative Human Action efficiency)を用いてタスク性能を計測し、レベル完了と人間のベースラインに対するアクション効率を組み合わせ、実用的なリソース指標としてドル決定推論コストを記録する。 27系統にまたがって、パフォーマンスはゼロから近いスコアまで様々である。 2つのリビジョンは平均保持率RHAEをわずか2.80ポイント(95%間隔 [-1.44,7.35])引き上げる。 開発はオーバーステート・ホールドアウトの改善を達成し、推論コストの削減はタスクパフォーマンスの犠牲になる可能性がある。 人間の操縦システムは、さらなるヘッドルームを実証する。 これらの結果は、自律型ハーネス構築とこの2つのリビジョンプロトコルによる信頼性の高い適応のギャップを浮き彫りにしている。

関連論文リスト

• VideoHarness-SRSI: Structured Recursive Self-Improvement for Video Understanding Harness [75.15615778283161]
  LLMシステム機能は、モデルパラメータだけでなく、情報取得、ツールの使用、推論、メモリを整理する実行可能なハーネスにも依存する。 本稿では,マルチモーダルなリッチな証拠と結合機構が利用効率の最適化を困難にしているエージェント的ビデオ理解において,この問題を考察する。
  論文  参考訳（メタデータ） (2026-10-14T02:17:07Z)
• SHarP: Saliency-based Pruning of Agent Harnesses [55.076331468597594]
  Agentは、モデル呼び出し、ツールの使用、タスクの実行を調整することで、大規模な言語モデルが複雑なタスクを完了するのを助ける。 結果として、いくつかのハーネスモジュールが冗長であるかどうかは不明である。 ニューラルネットワークのプルーニングにインスパイアされた我々は、タスクパフォーマンスとトークンコストのバランスを改善する手段として、ハーネスプルーニングを研究した。
  論文  参考訳（メタデータ） (2026-10-03T00:41:14Z)
• HarnessPAI: An Evolving Harness for Physical AI [64.91964104275483]
  本稿では,物理AIのためのモデルおよび具体化に依存しないフレームワークであるHarnessPAIを紹介する。 ロールアウト内では、プログラムレベルでオープンループを実行する。 デスクトップロボットアーム、家庭用ロボット、ロボット掃除機、そして歩行エージェントのHarnessPAIは、純粋なアクションモデルとコード・アズ・ポリティクスのベースラインの両方を改善している。
  論文  参考訳（メタデータ） (2026-09-24T07:40:00Z)
• HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
  評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。 Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。 Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
  論文  参考訳（メタデータ） (2026-09-01T15:45:33Z)
• $A^2E$ : An End-to-End Agent Auditing Engine [25.281617098281277]
  A2E$はエージェントハーネス用に設計されたエンドツーエンドの評価エンジンである。 実験中に標準化された実行トレースをキャプチャして生成する。 A2E$は多次元メトリクスのスイートを使用してハーネス機能を評価する。
  論文  参考訳（メタデータ） (2026-08-07T15:44:12Z)
• Recursive Harness Self-Improvement [28.432258880153125]
  モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。 本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。 RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
  論文  参考訳（メタデータ） (2026-07-17T00:21:19Z)
• Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
  i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。 まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。 第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
  論文  参考訳（メタデータ） (2026-05-28T22:16:14Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。