論文の概要: Reliable Self-Evolution with Imperfect Proxy Rewards

• arxiv url: http://arxiv.org/abs/2610.02975v1
• Date: Fri, 02 Oct 2026 08:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 09:54:32.244237
• Title: Reliable Self-Evolution with Imperfect Proxy Rewards
• Title（参考訳）: 不完全なプロキシ・リワードによる信頼性の高い自己進化
• Abstract要約: 大規模言語モデル(LLM)に基づく自己進化探索は、科学的発見への有望なアプローチである。 各候補者の高忠実度評価は、一部のドメインでは違法に高価である。 これは、より信頼性の高い自己進化探索のための統計的に校正された報酬間隔を動機付けている。
• 参考スコア（独自算出の注目度）: 16.399895274621297
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language model (LLM)-based self-evolving search is a promising approach to scientific discovery. However, high-fidelity evaluation of every candidate is prohibitively expensive in some domains. Self-evolving systems in such settings therefore rely on low-cost but imperfect proxy rewards, which may assign high scores to infeasible candidates. These false positives may contaminate both the final output and the feedback used to guide subsequent generations. This motivates statistically calibrated reward intervals for more reliable self-evolving search. We propose Conformal Interval-Driven Self-Evolution (CISE), which constructs candidate-specific reward intervals using conditional conformal inference and iteration-wise online density-ratio estimation. CISE uses conservative interval-based rewards for evolutionary feedback and returns candidates only when all required property intervals lie entirely within their respective feasible regions. We derive fixed-iteration coverage results under explicit assumptions of independence and covariate shift. We evaluate CISE on three self-evolving search tasks in materials science. In our experiments, all candidates returned by CISE are true positives under high-fidelity evaluation, whereas the baselines return more candidates but include false positives. These results highlight the value of a smaller, more precise shortlist when downstream validation budgets are limited. Our repository is available at https://github.com/MLAI-Yonsei/CISE.git.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づく自己進化探索は、科学的発見への有望なアプローチである。 しかし、各候補者の高忠実度評価は、一部のドメインでは違法に高価である。 このような状況下での自己進化システムは、低コストだが不完全なプロキシ報酬に依存しており、これは不可能な候補に高いスコアを割り当てる可能性がある。 これらの偽陽性は、最終的な出力とその後の世代を導くために使われるフィードバックの両方を汚染する可能性がある。 これは、より信頼性の高い自己進化探索のための統計的に校正された報酬間隔を動機付けている。 本稿では,条件付き共形推論と反復的オンライン密度比推定を用いて,候補固有報酬区間を構成する,整形区間駆動型自己進化(CISE)を提案する。 CISEは進化的フィードバックに保守的なインターバルベースの報酬を使用し、必要なすべてのプロパティインターバルがそれぞれの実現可能な領域内にある場合にのみ候補を返す。 独立性および共変量シフトの明確な仮定の下で,定点被覆結果の導出を行う。 材料科学における3つの自己進化探索課題に対するCISEの評価を行った。 実験では,CISEで返される全ての候補は正の正の値であり,ベースラインはより多くの候補を返すが,偽陽性は含まない。 これらの結果は、下流の検証予算が限られている場合に、より小さく、より正確なショートリストの価値を強調します。 私たちのリポジトリはhttps://github.com/MLAI-Yonsei/CISE.git.comで公開されています。

関連論文リスト

• Which Self-Improvements Should We Trust? Reliable Self-Improvement When Agents Reuse Their Benchmarks [4.633684245833275]
  再帰的自己改善(RSI)は急速に進歩し、適応探索を導く上で信頼性の高い評価が重要である。 提案するREUSEは,修正された評価セットが反復的な適応的意思決定を支援するための認定評価・促進フレームワークである。 本稿では, 同時誤差制御, 累積的改善に対する有効下限, 適応的評価再利用の基本的な限界のキャラクタリゼーションを含む, RSI 評価のための詳細な統計理論を開発する。
  論文  参考訳（メタデータ） (2026-09-27T03:58:48Z)
• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• Janus: An Algorithm-Evaluator Co-Evolution Framework for LLM-Driven Discovery under Expensive Evaluation Budgets [56.93233495754078]
  我々は、LLMを使ってターゲットプログラムと実行可能なプロキシ評価器を共同開発するフレームワークであるJanusを紹介する。 ラベル不足に対処するため、JanusはLLMに符号化されたドメイン知識を活用してタスク固有の評価プログラムを生成する。 流通シフトを軽減するため、Janusはターゲットプログラムと並行して評価器を進化させ、プロモーション対応の目標を使ってそれらを選択し、地域条件のポートフォリオを維持する。
  論文  参考訳（メタデータ） (2026-08-08T15:31:12Z)
• Credit Assignment with Resets in Language Model Reasoning [19.869062158993113]
  ポストトレイン言語モデルは、トラジェクトリ内のすべてのトークンに対して、単一の結果報酬を均一に割り当てる。 この制限は、軌道全体を均一に更新するのではなく、目標とする故障推論ステップの洗練を可能にすることで対処できる。 本稿では、ランダムリセットポリシー最適化(RRPO)と自己リセットポリシー最適化(SRPO)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2026-05-25T07:11:50Z)
• Adaptive Generate-Rank-Verify: Inference-Time Search with Costly Verification [8.614387395852896]
  我々は、学習理論レンズを生成能動探索として用いて、コスト感受性の第1正探索問題を定式化する。 固定プロンプトでは、ジェネレータと報酬モデルが2つの未知のオブジェクトを誘導する。 本稿では,サンプル応答数やトップランク検証を段階的に増加させる,シェルワイズ適応型生成ランク検証アルゴリズムADAPを提案する。
  論文  参考訳（メタデータ） (2026-05-17T19:10:30Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Efficient Weighting Schemes for Auditing Instant-Runoff Voting Elections [57.67176250198289]
  AWAIREは、適応的に重み付けされたテスト統計量であり、本質的には、テストに有効な仮説のセットを「学習」する。 我々は、より広範囲にスキームと設定を検討し、実践のための効率的な選択を特定し、推奨する。 現在のAWAIRE実装の制限は、少数の候補者に限られている。
  論文  参考訳（メタデータ） (2024-02-18T10:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。