論文の概要: Tracing the Thoughts of a Coding Agent Playing ARC-AGI-3: Lessons for Continual Learning

• arxiv url: http://arxiv.org/abs/2610.11450v1
• Date: Thu, 08 Oct 2026 08:04:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.881978
• Title: Tracing the Thoughts of a Coding Agent Playing ARC-AGI-3: Lessons for Continual Learning
• Title（参考訳）: ARC-AGI-3をプレイするコーディングエージェントの思考の追跡:継続的な学習の教訓
• Abstract要約: 我々は,コーディングエージェントが一連の推論タスクを通してどのように学習するかを研究する。 我々はエージェントに指示を与えないインタラクティブな推論ゲームであるARC-AGI-3をプレイさせる。 エージェントはPythonスクリプトとテキストノートとして学んだことを記録し、ハーネスはすべてのアクションと観察の完全なログを保持する。
• 参考スコア（独自算出の注目度）: 2.148015602930458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how a coding agent learns across a sequence of abstract reasoning tasks. The agent runs on a frozen foundation model inside a fixed harness and acts by writing and running Python and shell scripts. It retains no state across turns other than its written artifacts, so every thought it forms, carries, corrects or abandons leaves a trace, where a thought is any belief, rule or plan committed to a file. We let the agent play ARC-AGI-3, a set of interactive reasoning games that provide no instructions. Each game is a sequence of levels, and a strategy that clears one level can fail on the next, so every new level is in effect a new task. The agent records what it learns as Python scripts and text notes, while the harness keeps a complete log of every action and observation. Our contribution is a measurement protocol that traces each thought through these files, from the task where it forms to the task where it is corrected or abandoned, applied to seven evaluation runs with three backbones from two model families. Scripts written for one task are almost never called again in a later task (33 of 630 references cross a task boundary), because most scripts embed the state of the current level. Instead, the agent rewrites its knowledge into new scripts, keeping the general rules and dropping the level-specific details, and abandons 74% of the scripts it wrote before a boundary. The notes, which only the model reads, are never revised: the agent appends without removing earlier claims, and the contradictions that accumulate are settled against the log. Because the log preserves everything, the agent forgets selectively, not catastrophically. The most costly error is a hard-coded value carried into a task where it no longer holds. These findings come from the files the agent wrote, without access to the model, and constitute a white-box analysis of how a coding agent continually learns.
• Abstract（参考訳）: 符号化エージェントが抽象的推論タスクの連続を通してどのように学習するかを研究する。 エージェントは固定ハーネス内のフリーズファンデーションモデル上で動作し、Pythonとシェルスクリプトを記述および実行することで機能する。 書物以外の曲がり角を横切る状態は保持しないので、思考がファイルにコミットされた信念、ルールまたは計画であるような、その思考を形成、保持、修正、放棄するすべての思考は痕跡を残している。 我々はエージェントに指示を与えないインタラクティブな推論ゲームであるARC-AGI-3をプレイさせる。 各ゲームは一連のレベルであり、1つのレベルをクリアする戦略は次のレベルに失敗する可能性があるため、すべての新しいレベルが事実上新しいタスクである。 エージェントはPythonスクリプトとテキストノートとして学んだことを記録し、ハーネスはすべてのアクションと観察の完全なログを保持する。 我々のコントリビューションは、これらのファイルを通して各思考をトレースする計測プロトコルであり、生成したタスクから、修正または放棄されたタスクまで、2つのモデルファミリーの3つのバックボーンで7つの評価実行に適用される。 あるタスクのために書かれたスクリプトは、ほとんどのスクリプトが現在のレベルの状態を埋め込んでいるため、後続のタスク(630の参照のうち33がタスク境界を越えている)で呼び出されることはほとんどありません。 その代わり、エージェントは知識を新しいスクリプトに書き直し、一般的なルールを維持し、レベル固有の詳細を廃止し、バウンダリ前に書いたスクリプトの74%を放棄する。 エージェントは以前のクレームを削除せずに追加し、蓄積される矛盾はログに対して解決される。 ログが全てを保存するので、エージェントは破滅的にではなく選択的に忘れる。 最もコストのかかるエラーは、もはや保持されないタスクにハードコードされた値である。 これらの発見は、エージェントがモデルにアクセスせずに書いたファイルから得られ、コーディングエージェントが継続的に学習する方法のホワイトボックス分析を構成する。

関連論文リスト

• StateTape: Action-Conditioned Evidence Lifecycle Modeling for Long-Horizon Coding Agents [6.752407594743261]
  StateTapeは、リポジトリの変更時にコーディングエージェントのコンテキストを書き換えるフレームワークである。 テープは、変更された各書き込みのシンボルをマークし、テキストに関する推測からエージェントの書き込みの観察へとスタレネスを変換する。
  論文  参考訳（メタデータ） (2026-09-28T21:52:27Z)
• The Working Set of a Coding Agent: Coherence Debt in Repository-Scale Tasks [14.070053515623883]
  リポジトリスケールのコーディングには、テスト、インポート、設定、マイグレーションルールを境界付けられたコンテキストウィンドウ内で一貫性を保つためのエージェントが必要である。 7つのモデルと5つのハーネスに障害を注入します。 リネームが実際のライブラリについて記憶したモデルを破ると、7つすべてが同じ場所で失敗し、同じテストがパスして失われる。
  論文  参考訳（メタデータ） (2026-08-17T14:30:41Z)
• Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories [0.0]
  永続コンテキストファイル(AGENTS.md, CLAUDE.md)は、AIコーディングエージェントを誘導する標準的な慣行であるが、それらの効果の証拠は矛盾している。 我々は2つのフロンティアエージェント(Claude Code と Codex)間のコンテキスト注入戦略の制御されたアブレーションを示す。
  論文  参考訳（メタデータ） (2026-07-28T11:07:53Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data [4.191965713559235]
  コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。 このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。 このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
  論文  参考訳（メタデータ） (2026-07-20T15:32:09Z)
• AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
  大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。 大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。 私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
  論文  参考訳（メタデータ） (2026-06-23T12:57:18Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。