論文の概要: The Winner's Curse in LLM Self-Improvement Loops: Selection Noise, Lock-in, and Acceptance Rules

• arxiv url: http://arxiv.org/abs/2610.09239v1
• Date: Wed, 07 Oct 2026 00:05:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.650435
• Title: The Winner's Curse in LLM Self-Improvement Loops: Selection Noise, Lock-in, and Acceptance Rules
• Title（参考訳）: LLM自己改善ループにおける勝者のカース:選択ノイズ,ロックイン,アクセプタンスルール
• Abstract要約: 自己改善型LLMシステムは、自分自身に変化を提案し、小さな評価セットでスコアを良く保つ。 評価セットが再利用されるとどうなるかを実証的に研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-improving LLM systems propose changes to themselves and keep those that score better on a small evaluation set. We treat this keep-if-better step as selection under measurement noise, model the correlated errors of the candidates in a single decision, and study empirically what happens when the evaluation set is reused. In runs where Qwen models rewrite their own instructions and every candidate is also scored on 600 held-out items, most proposals after the first are harmful, and the model gives the size of the winner's curse of a generation's best candidate. With a prior from a separate pilot, it matches the average overstatement of first-generation commits in native loops, though not setting by setting. In a pre-registered study, the final selection-set score of greedy loops exceeded held-out accuracy by 13 to 20 points with 16 selection items and by 1 to 5 points with 256. Held-out gains grew with the selection set on TREC but not on GSM8K, and the tested acceptance rules did not beat greedy acceptance over whole runs. Gains measured on the selection set also exceeded held-out gains when a current model refined a competent instruction, and in the validation scores of GEPA and MIPROv2. Scoring the starting and the current instruction on 64 items never used for selection removes the average bias of a loop's reported gain, but single estimates remain off by about 6 points. Self-improvement studies should report held-out gains with their uncertainty.
• Abstract（参考訳）: 自己改善型LLMシステムは、自分自身に変化を提案し、小さな評価セットでスコアを良く保つ。 本研究では,このステア・ファ・ベッターのステップを,測定ノイズ下での選択として扱い,評価セットの再利用時に生じる事象を実証的に検討する。 Qwenモデルが自身の命令を書き直し、すべての候補者が600個の保持アイテムで得点するランニングでは、1回目以降のほとんどの提案は有害であり、モデルが勝者の最高の候補者の呪いの大きさを与える。 独立したパイロットによる事前設定では、設定によって設定されていないにも関わらず、ネイティブループにおける第1世代のコミットの平均オーバーステートメントと一致します。 事前登録試験では, グリーディループの最終選択セットスコアは, 16項目で13～20点, 256項目で1～5点を超えた。 TRECはGSM8KではなくGSM8Kに設定され、テストされた受入ルールは全戦でグリーディの受け入れに勝てなかった。 選択セットで測定されたゲインは、現在のモデルが有能な命令を洗練したときにもホールトアウトゲインを超え、GEPAとMIPROv2の検証スコアは向上した。 選択に使用されていない64項目の開始点と現在の命令のスコア付けは、ループの報告したゲインの平均バイアスを除去するが、単一の推定値はおよそ6ポイントずれる。 自己改善研究は、不確実性を伴う持続的な利益を報告すべきである。

関連論文リスト

• Pinning Decisions Before Failure: Executable Records of Underspecified Choices in AI-Assisted Code Generation [0.0]
  自然言語の要件は質問をオープンにし、それを実装するよう要求されたモデルが静かに解決する。 3つのモデルから600以上のテストスイートが生成され、42.7%は競合するリードを区別するテストを含んでいない。 要件の未特定点を名前で列挙し、それぞれのコンストラクタに対して、そのポイントでのみ異なる2つの捨てられた実装を列挙します。 結果は、名前付きポイント、確認された入力、および2つの結果の中から選択した値の判定ピンとして記録される。
  論文  参考訳（メタデータ） (2026-10-02T12:46:07Z)
• ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation [35.56656941794163]
  本稿では,選択的生成モデレーションにより候補推論を再利用する学習自由推論手法であるRegenerative ablationを紹介する。 個別にサンプリングされた2つの候補プールを用いて評価された130の競合数学問題のハイブリットスコアでは、Reは100と99の正解を得るが、同じ4つの候補に対して91と92が投票する。
  論文  参考訳（メタデータ） (2026-10-01T06:19:29Z)
• In CEM, a World Model Is Also a Proposal Mechanism [1.0312968200748118]
  クロスエントロピー法(CEM)は、世界モデルスコアを用いてアクションシーケンスを選択し、次のイテレーションでサンプリングされた分布に適合する。 4種類の予測モデルはCEMトレースを生成し、各モデルは保存された全ての候補プールを再スコアする。 環境における同じ候補の実行は、参照エリートセットと提案の更新を提供する。
  論文  参考訳（メタデータ） (2026-10-01T01:57:24Z)
• SAGE: A Statistical Acceptance Gate for Self-Evolving Agents [17.727663090075463]
  自己進化型エージェント(SAGE)の統計的受容ゲートを提案する。 SAGEはベースラインの編集のサブセットのみをコミットし、利得が信頼できないものや、壊れたアイテムによって購入されるものをフィルタリングする。 全20セットで最高得点を記録し、LiveMathは34.15から48.78に上昇した。
  論文  参考訳（メタデータ） (2026-09-28T18:07:45Z)
• Overwhelmed by Choice: Studying LLM Decision Making at Scale [70.45144023754595]
  候補数の増加に伴い,複数選択および候補選択の評価を体系的に評価した。 タスク間での相当な精度劣化、戦略の推進、モデルスケールが見られます。 階層分割と置換に基づく推論は、HotpotQAとMIMICで約20パーセントの精度をN=160$で向上する。
  論文  参考訳（メタデータ） (2026-09-26T17:33:04Z)
• Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
  NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。 教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。 我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-08-30T16:35:22Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。