論文の概要: Which Self-Improvements Should We Trust? Reliable Self-Improvement When Agents Reuse Their Benchmarks

• arxiv url: http://arxiv.org/abs/2609.33180v2
• Date: Tue, 29 Sep 2026 15:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.648159
• Title: Which Self-Improvements Should We Trust? Reliable Self-Improvement When Agents Reuse Their Benchmarks
• Title（参考訳）: どの自己改善を信頼すべきか? エージェントがベンチマークを再利用した場合の信頼性の高い自己改善
• Abstract要約: 再帰的自己改善(RSI)は急速に進歩し、適応探索を導く上で信頼性の高い評価が重要である。 提案するREUSEは,修正された評価セットが反復的な適応的意思決定を支援するための認定評価・促進フレームワークである。 本稿では, 同時誤差制御, 累積的改善に対する有効下限, 適応的評価再利用の基本的な限界のキャラクタリゼーションを含む, RSI 評価のための詳細な統計理論を開発する。
• 参考スコア（独自算出の注目度）: 4.633684245833275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As recursive self-improvement (RSI) rapidly advances, reliable evaluation becomes critical for guiding adaptive search. RSI typically relies on finite evaluation resources, such as fixed benchmarks, to determine which modifications are retained and what is proposed next. However, when these finite resources are repeatedly reused, new candidates are proposed based on feedback from the same evaluation set, so the search trajectory can adaptively overfit and empirical improvement may not reflect genuine population improvement on the underlying task distribution. Some existing methods account for multiple comparisons but assume that candidates are chosen independently of the evaluation set, and therefore do not control this adaptive dependence. To address this, we propose REUSE (Risk-controlled Evaluation Under Sequential Evolution), a certified evaluation and promotion framework that allows a fixed evaluation set to support repeated adaptive decisions while providing statistical guarantees. For a user-specified error level $α$, with probability at least $1-α$, every promoted modification is a genuine population improvement on the underlying task distribution. REUSE achieves this by strictly limiting the evaluation feedback returned to the search process and accounting for possible promotion histories within the error budget. We develop detailed statistical theory for RSI evaluation in this setting, including simultaneous error control, valid lower bounds on cumulative improvement, and a characterization of the fundamental limits of adaptive evaluation reuse. In live self-improvement experiments, REUSE commits substantially fewer false promotions than evaluation frameworks from current RSI systems and error-controlled baselines, reducing the proportion of false promotions from up to 20.7% to 0%, while achieving final true population performance comparable to the best baselines.
• Abstract（参考訳）: 再帰的自己改善(RSI)が急速に進展するにつれて、適応探索を導く上で信頼性の高い評価が重要となる。 RSIは一般に、どの修正が保持され、次に何が提案されるかを決定するために、固定ベンチマークのような有限評価資源に依存している。 しかし、これらの有限資源を再利用する場合、同じ評価セットからのフィードバックに基づいて新たな候補が提案されるため、探索軌道は適応的に過度に適合し、経験的改善は、基礎となるタスク分布における真の人口増加を反映しない可能性がある。 いくつかの既存手法は複数の比較を考慮しているが、候補が評価セットから独立して選択されていると仮定し、従ってこの適応依存を制御しない。 これを解決するために,統計的保証を提供しつつ,繰り返し適応的な意思決定を支援するための評価・促進フレームワークであるREUSE(Risk-control Evaluation under Sequential Evolution)を提案する。 ユーザが指定したエラーレベル$α$に対して、少なくとも1-α$の確率を持つ場合、全てのプロモートされた修正は、その基礎となるタスク分布に対する真の人口的改善である。 REUSEは、検索プロセスに返される評価フィードバックを厳格に制限し、エラー予算内での昇格履歴を考慮し、これを実現する。 本稿では, 同時誤差制御, 累積的改善の有効下限, 適応的評価再利用の基本的な限界のキャラクタリゼーションを含む, RSI 評価のための詳細な統計理論を開発する。 ライブ自己改善実験では、REUSEは現在のRSIシステムとエラー制御ベースラインの評価フレームワークに比べて、偽のプロモーションを著しく少なくし、偽のプロモーションの割合を最大20.7%から0%に削減し、最高のベースラインに匹敵する最終的な真の人口パフォーマンスを達成する。

関連論文リスト

• CARE-VI: Conservative Adaptive Reliability Estimation for Value Improvement in Off-Policy Actor-Critic Learning [9.09344103114193]
  我々は、保守的適応ランク付け・スクリーニング(CARS)とセレクタ・評価値アセスメント(SEVA)を開発する。 DAREは、候補信頼性、セレクタと評価器信号のギャップ、および有限ステージ係数を用いて、各残差補正を規制する。 CARE-VIは、批評家のレグレッションとアクターのアップデートのためのバックボーンインターフェースを保存するエビデンス規制されたターゲット構築フレームワークである。
  論文  参考訳（メタデータ） (2026-09-17T11:59:43Z)
• Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior [0.7161783472741748]
  Inverse Propensity Scoring (IPS) は過度な分散を持つ。 IPS と Reward Interaction IPS (RIPS) は、ユーザーがランキングを閲覧する方法に関する仮定を定め、ばらつきを減らす。 本稿では適応重み付けと再帰回帰を組み合わせた適応二重ロバスト(ADR)を提案する。
  論文  参考訳（メタデータ） (2026-08-30T06:43:36Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• The Illusion of Improvement: Reject Inference Strategies in Credit Scoring [10.82789277277678]
  リジェクト推論法は、クレジットスコアリングにおける生存バイアスを軽減するために広く用いられている。 自然なリトレーニングサイクルでは、リコール崩壊時に精度が向上するモデルが改善の錯覚を生み出す。 統計的仮定なしでフィードバックループを破る制御された探索戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-16T20:43:43Z)
• Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents [6.158612515104146]
  エージェントフィードバックとレビュアーフィードバックのトレードオフを測定するために、ヘルプフルネス・ハームフルネスメトリクスを導入します。 我々はBFCLとTau2-Bench(マルチターンステートフルシナリオ)に対するアプローチを評価し、無関係検出では+5.5%、マルチターンタスクでは+7.1%を達成した。 GPT-4oでは,評価モデルo3-miniが3:1の利益率と2.1:1の利益率を達成した。
  論文  参考訳（メタデータ） (2026-04-29T22:09:47Z)
• Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
  本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。 このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。 合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-03-04T06:52:37Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。