論文の概要: Artifact-to-Capability: Diagnosing Breaks in Capability Formation of Self-Evolving Agents in a Controlled Environment
- arxiv url: http://arxiv.org/abs/2611.04952v1
- Date: Tue, 03 Nov 2026 14:12:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-08 06:33:52.070004
- Title: Artifact-to-Capability: Diagnosing Breaks in Capability Formation of Self-Evolving Agents in a Controlled Environment
- Title(参考訳): アーティファクト・トゥ・キャパビリティ:制御環境下での自己進化剤の能力形成過程の診断
- Abstract要約: セルフ進化エージェントは、インタラクションエクスペリエンスをアーティファクトに書き、後続のタスクで再利用する。
ほとんどの作業では,アーティファクトの蓄積,ロード時に振る舞いの変更,メトリクスの上昇という,3つのプロキシシグナルでこのようなメソッドをサポートしています。
アーティファクトからの能力形成を5つの逐次依存特性として定義し、そのうち2つは能力形成のチェックポイントを形成する。
- 参考スコア(独自算出の注目度): 4.687248949953871
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-evolving agents write interaction experience into artifacts and reuse them in later tasks. Most work supports such methods with three proxy signals: artifacts accumulate, behavior changes once they are loaded, and metrics rise. We call this signal-based evaluation. What these signals are meant to indicate, however, has not been defined. To fill this gap, we define capability formation from artifacts as five sequentially dependent properties, two of which form a checkpoint for capability formation, and introduce three-scale diagnosis, which judges these properties at the state, game, and lineage levels. In freestyle Gomoku, Reflexion, Voyager, and DGM evolve with the same base model and all show the three signals, yet each exhibits a distinct capability-formation break. Reflexion shows a legalization gain: its pass rate rises only because more of its moves are legal. Voyager shows a compositional override: components that are sound on their own combine to miss all 20 available one-move wins. DGM shows loss-only drift: after passing the checkpoint, later versions only lose passing states. These counterexamples show that signal-based evaluation cannot determine whether a capability has formed.
- Abstract(参考訳): セルフ進化エージェントは、インタラクションエクスペリエンスをアーティファクトに書き、後続のタスクで再利用する。
ほとんどの作業では,アーティファクトの蓄積,ロード時に振る舞いの変更,メトリクスの上昇という,3つのプロキシシグナルでこのようなメソッドをサポートしています。
これを信号に基づく評価と呼ぶ。
しかし、これらの信号が何を示すかは定義されていない。
このギャップを埋めるために、アーティファクトからの能力形成を5つの逐次依存特性として定義し、そのうち2つは能力形成のためのチェックポイントを形成し、これらの特性を状態、ゲーム、および系統レベルで判定する3段階の診断を導入する。
フリースタイルのゴモクでは、反射、ボイジャー、DGMは同じベースモデルで進化し、3つの信号を表示するが、それぞれが異なる能力形成のブレイクを示す。
リフレクションは合法化の伸びを示している: パスレートは、その動きが合法であることからのみ上昇する。
ボイジャーは作曲のオーバーライドを見せる: それぞれの組み合わせで音を奏でるコンポーネントは、20点満点の勝利を逃す。
DGMは損失のみのドリフトを示し、チェックポイントをパスした後、後のバージョンはパス状態だけを失う。
これらの反例は、信号に基づく評価が、ある能力が形成されたかどうかを判断できないことを示している。
関連論文リスト
- World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。
これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。
可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
論文 参考訳(メタデータ) (2026-09-15T06:22:42Z) - MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。
生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
論文 参考訳(メタデータ) (2026-08-31T16:05:39Z) - Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks [68.64050157343334]
既存の透かしは編集の際は残されているが、このような堅牢性は、敵が帰属を維持しながら重要な内容を変更することを可能にする。
実証と改ざんの証拠を共同で提供する革新的な透かしを導入する。
信号は同じメカニズムを共有するが、独立キーと正規化テキスト上の異なるシードウィンドウを使用するため、一方は編集に耐性があり、もう一方は読み取り可能な変更に敏感である。
論文 参考訳(メタデータ) (2026-08-13T01:55:16Z) - When Are Neural Interaction Discoveries Real? Identifiability, Recoverability, and a Pre-Fit Diagnostic [0.0]
これは基本的には、観測された入力支援の幾何学によって支配される識別可能性の問題である。
表現能力が識別可能でないことを示す。
相互作用の回復性はサポート幾何学に依存することを示す。
論文 参考訳(メタデータ) (2026-06-07T00:52:43Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳(メタデータ) (2026-04-28T16:55:02Z) - Engineering Verifiable Modularity in Transformers via Per-Layer Supervision [0.0]
分散冗長性は損傷を補うため、資本化にとって重要なものとして認識される注目ヘッドを非難することは、最小限の行動変化をもたらす。
アーキテクチャの介入が隠されたモジュール性を公開することを実証します。
このことは、受動的観察から能動的制御への解釈可能性変換の方法論を台無しにしている。
論文 参考訳(メタデータ) (2026-03-08T05:18:14Z) - Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。
我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。
我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
論文 参考訳(メタデータ) (2025-05-15T17:58:33Z) - Learning Action-based Representations Using Invariance [18.1941237781348]
我々は,制御に関係のある遠隔状態の特徴を割引する多段階制御可能性指標を学習するアクションビシミュレーション符号化を導入する。
我々は,報酬のない一様ランダムなデータに基づく行動ビシミュレーション事前学習が,複数の環境におけるサンプル効率を向上させることを実証した。
論文 参考訳(メタデータ) (2024-03-25T02:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。