論文の概要: The Self-Improvement Problem

• arxiv url: http://arxiv.org/abs/2610.21646v1
• Date: Thu, 15 Oct 2026 10:27:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.025209
• Title: The Self-Improvement Problem
• Title（参考訳）: 自己改善問題
• Abstract要約: 報酬モデルや自動レビューのような自動ゲートは、提案された更新が受け入れられるべきかどうかを確実に決定できますか? 我々は、エージェントをプログラムとしてモデル化し、計算不可能なセマンティックスコアの観点から改善を定義することで、このミスマッチを定式化する。 完全汎用的な設定では、(非改善を受け入れることなく)信頼性と非保守性(利用可能な改善を欠くことなく)同時に終了手続きを保証できないことを示す。
• 参考スコア（独自算出の注目度）: 9.669659369729175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise of large language models, agentic systems are becoming increasingly autonomous, as they write code, call tools, revise prompts, and propose modifications to their own components. This autonomy raises a fundamental question for safe self-improvement: can an automated gate like a reward model or an automated reviewer reliably decide whether a proposed update should be accepted? The difficulty is structural. The gate must be a terminating, computable procedure, while the property we ultimately care about, namely whether an update is a genuine semantic improvement, depends on potentially unbounded program behavior. We formalize this mismatch by modeling agents as programs and defining improvement in terms of a semantic score that need not be computable. We study two evaluation abstractions. The first is a certifier that approves or rejects an update. The second is a search procedure that, given access to a proposal generator, attempts to output some improving candidate if one exists. We show that, in the fully general setting, no terminating procedure can simultaneously guarantee reliability (never accepting a non-improvement) and non-conservatism (never missing an available improvement): self-referential constructions can force any such gate or searcher to fail. Randomized gates with bounded error face the same limit. We then identify a standard decidable regime used in practice (bounded evaluation and a finite proposal budget) under which exhaustive simulation yields a terminating search procedure with the desired guarantees. We also show the limit of this recovery: a chain of accepted updates can raise the bounded score in every round while the true score falls. Our results draw a boundary between unbounded, universal settings where correctness guarantees collapse and bounded settings where they can be recovered by design.
• Abstract（参考訳）: 大規模言語モデルの台頭に伴い、エージェントシステムは、コードを書き、ツールを呼び、プロンプトを修正し、独自のコンポーネントを変更する提案をするにつれて、ますます自律性が高まっている。 報酬モデルや自動レビュアーのような自動ゲートは、提案された更新が受け入れられるべきかどうかを確実に判断できますか? 難易度は構造的である。 ゲートは終端的で計算可能な手順でなければならないが、更新が真のセマンティック改善であるかどうかという、最終的に私たちが関心を持つプロパティは、潜在的に非バウンドなプログラムの振る舞いに依存している。 我々は、エージェントをプログラムとしてモデル化し、計算不可能なセマンティックスコアの観点から改善を定義することで、このミスマッチを定式化する。 2つの評価抽象化について検討する。 1つ目は、更新を承認または拒否する認証者である。 2つ目は、提案ジェネレータへのアクセスを前提として、もし存在するなら改善された候補を出力しようとする探索手順である。 完全汎用的な設定では、終了手続きは信頼性と非保守性(改善の余地がない場合を除く)を同時に保証することができず、自己参照的な構築は、そのようなゲートやサーチを失敗させる可能性がある。 境界誤差を持つランダム化ゲートは、同じ限界に直面します。 そこで,本研究では,実例で用いられる標準的な決定可能なシステム(有界評価と有限提案予算)を同定し,提案手法の徹底的なシミュレーションにより,所望の保証付き終端探索手順を導出する。 受け入れたアップデートの連鎖は、真のスコアが落ちている間に、各ラウンドでバウンドスコアを上げることができる。 この結果から, 整合性が保証される非有界, 普遍的な設定と, 設計による回復が可能な有界な設定の境界が導かれる。

関連論文リスト

• Verification and Self-Improvement in Agentic AI: Foundations and Limits [0.0]
  エージェントAIシステムは、長い検索、追加のサポートの受け取り、あるいはアウトプットの提案と検証の仕方を変更することで改善することができる。 我々はこれらの変化を有界検証と隠れ終端ランダムネスで比較する。 独立な多数派が両方の言語を保存していることは証明するが、ランダムなテープに対する存在的受容は誤った出力を許容する。
  論文  参考訳（メタデータ） (2026-10-07T06:47:49Z)
• Belief-Informed Hybrid Control with Almost-Sure Target-Set Convergence [5.4872967954342675]
  パラメータ不確実性の下でターゲットセットにハイブリッドシステムを制御するには、システム状態が指定されたセットから一時的に切り離されるような情報的アクションが必要になる。 本稿では,信念空間の後退-水平選択と事前制約を結合した2元制御アルゴリズムを提案する。 アルゴリズムの2段階のルックセレクションでは、予測された観測値を用いてパラメータの信念を更新し、その後の行動の許容性を評価する。
  論文  参考訳（メタデータ） (2026-10-06T03:08:15Z)
• RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
  正規化再帰的自己改善型エージェント・ハーネス(RRSI) 本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。 RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
  論文  参考訳（メタデータ） (2026-09-21T17:54:49Z)
• Reality Is the Final Verifier: On Two Key Gaps in Agentic Software Engineering [78.51705689800838]
  本稿では, 要求, モデル, 評価器の見直しに, 展開証拠を用いた保証・修正ループを提案する。 そこで我々は,人的判断,エージェント能力,計算能力に対する資源配分問題としてエージェント開発を保証した。
  論文  参考訳（メタデータ） (2026-09-10T17:58:48Z)
• MetaRSI / RSI2: A Meta-Recursive Self-Improving System for Recursive Self-Improving Systems Themselves [65.60481414910728]
  再帰的な自己改善により、システムは自身の失敗からモデル構築機械を改善することができる。 しかし、RSIは、科学のQAや数学のようなコーディングと形式的なベンチマークにのみ検証されている。 RSIは次に、科学的、工学的、メタ科学的な領域にまたがって運用されなければならない、と我々は主張する。 本稿では,MetaRSI-v1を提案する。改良は,1つの統一パラダイム上での3つの型付き演算子のスケジュール構成である。
  論文  参考訳（メタデータ） (2026-09-06T05:15:31Z)
• The Order Is the Guarantee: Verifier-Budgeted Code Deletion with Static-First Learned Proposals [12.095189927690988]
  本稿では,Al系が実行検証能力が有限である場合,コードを削除する方法の逆問題について検討する。 提案スケジューリングとして冗長コード削減を定式化する。 スケジューリングが検索を司る一方で、テストスイートのみが"保存行動"の意味を司ることを示す。
  論文  参考訳（メタデータ） (2026-08-05T09:16:29Z)
• What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents [0.0]
  ガードレールは不可逆のツールコールの前に動作しますが、その保証は、どのポリシー状態が表現可能であるかによって異なります。 ピアソン表現攻撃はマージンを増すので、良性校正だけでは移動しない。 実験は静的診断、制御モデル列挙、表現書き直し、ペア化された閉ループ再実行を通じてこれらの区別を目標とする。
  論文  参考訳（メタデータ） (2026-07-24T19:14:26Z)
• Falsifiable Release Gates for Self-Improving Systems [0.0]
  本稿では,フェール可能なリリースゲートと,そのようなシステムの構築と検証方法について述べる。 すべての新機能は、出荷前に、指定されたマシン検証可能な受け入れスイートをパスしなければならない。 コントロールリングによってマイニングされる安全クリティカルなプロパティ機能トークンのないエフェクターには、アクションは発生しない。
  論文  参考訳（メタデータ） (2026-07-11T06:06:34Z)
• CellScientist: Dual-Space Hierarchical Orchestration for Closed-Loop Refinement of Virtual Cell Models [62.281480231694]
  VCM(Virtual Cell Modeling)は、摂動応答を予測できるだけでなく、予測が失敗した場合にターゲットリビジョンをサポートするモデルを必要とする。 現在のLCM支援モデリングでは、予測誤差が実行可能実装を通して観測されるという改善ルーティング問題に直面している。 提案するCellScientistは,高レベル仮説空間と低レベル実行可能実装空間を結合した,二重空間階層型フレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:40:24Z)
• Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
  ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。 ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。 本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。