論文の概要: Lineage Is Memory: Parent Inheritance and Feedback Disclosure in Short-Budget LLM-Guided Optimization

• arxiv url: http://arxiv.org/abs/2610.41157v1
• Date: Fri, 30 Oct 2026 02:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.590209
• Title: Lineage Is Memory: Parent Inheritance and Feedback Disclosure in Short-Budget LLM-Guided Optimization
• Title（参考訳）: Lineage is Memory: Parent Inheritance and Feedback Disclosure in Short-Budget LLM-Guided Optimization
• Abstract要約: 反復型言語モデルは、候補を評価することによってプロンプトとプログラムを洗練し、失敗事例のサンプルをプロジェクタモデルに提示し、パフォーマンスを改善するための修正を維持する。 最近の作業では、このループの限界を、単一ラウンドの狭いリフレクション、フルセットのエラークラスタリング、ターゲットとするミニバッチ、あるいはより大きなプロジェクタモデルを導入し、リフレクションがステップ毎により多くの障害モードを見るようにしている。 しかし、既存の評価はすべて、これらのメカニズムを系統保存検索の中でのみテストし、各リビジョンは生き残った親を編集する。 9つのプロンプトおよびプログラム合成ベンチマークにまたがる1,750回の事前登録実行において、親の継承は一致した評価の下でフィードバック開示から分離する。
• 参考スコア（独自算出の注目度）: 7.406718588794206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iterative language-model optimizers refine prompts and programs by evaluating a candidate, showing a proposer model a sample of failing cases, and keeping revisions that improve performance. Recent work attributes the limits of this loop to narrow single-round reflection, introducing full-set error clustering, targeted minibatches, or larger proposer models so the optimizer sees more failure modes per step. Yet every existing evaluation tests these mechanisms exclusively inside lineage-preserving search, where each revision edits a surviving parent, leaving the contribution of parent inheritance confounded with the breadth of per-round feedback. Across 1,750 pre-registered runs spanning nine prompt and program synthesis benchmarks, we separate parent inheritance from feedback disclosure under matched evaluation budgets. We find that greedy parent inheritance drives the vast majority of optimization progress, outperforming seed-reset resampling even when seed-reset proposals receive a clustered summary of all failures in every round or use a larger proposer model. While full-set error clustering and diverse failure selection improve single-step rewrites from the seed and accelerate the opening rounds of search, sequential parent inheritance rapidly closes this gap as solved error modes are retained in the candidate and filtered from subsequent failure lists. Moreover, decomposing token expenditure in GEPA reveals that proposer reflection accounts for only a small fraction of total cost whereas validation and minibatch gating consume nearly the entire budget, showing that greedy parent inheritance over raw failures captures the gains of complex reflective loops at a fraction of their compute.
• Abstract（参考訳）: 反復型言語モデルオプティマイザは、候補を評価することでプロンプトとプログラムを洗練し、失敗事例のサンプルをプロジェクタモデルに示し、パフォーマンスを向上させるリビジョンを維持する。 最近の作業は、このループの限界を、単一ラウンドの狭いリフレクション、フルセットのエラークラスタリング、ターゲットとするミニバッチ、あるいはより大きなプロジェクタモデルを導入し、オプティマイザがステップ毎により多くの障害モードを見るようにしている。 しかし、既存の評価テストはすべて、これらのメカニズムを系統保存検索の中でのみテストし、各リビジョンは生き残った親を編集し、親の継承の貢献はラウンド毎のフィードバックの幅と一致させる。 我々は,9つのプロンプトおよびプログラム合成ベンチマークにまたがる1,750回の事前登録実行において,親の継承を,一致した評価予算の下でのフィードバック開示から分離する。 シード・リセット提案が各ラウンドにおけるすべての障害のクラスタ化されたサマリを受信した場合や,より大きなプロジェクタモデルを使用した場合においても,greedy親継承がシード・リセット再サンプリングよりも優れた結果をもたらすことが判明した。 完全セットエラークラスタリングと多種多様な障害選択は、シードからのシングルステップ書き換えを改善し、検索のオープニングラウンドを加速する一方、シーケンシャルな親継承は、解決されたエラーモードが候補に保持され、その後の障害リストからフィルタリングされるため、このギャップを急速に閉鎖する。 さらに, GEPA におけるトークン支出の削減は, 提案者のリフレクションが総コストのごく一部を占めるのに対して, バリデーションとミニバッチゲーティングは, ほぼ全予算を消費していることが明らかとなった。

関連論文リスト

• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• Credit the Right Box: Marginal Contribution Assignment for Structured Visual Perception [14.939557815820693]
  Marginal Contribution Reward (MCR) は、各予測ボックスのコントリビューションを、アウトアウト比較によって推定する。 Continuous Matched Set Value Evaluatorは、置換不変マッチング、カウントアウェア正規化、グレードローカライゼーションを統合している。 REC、DOD、セグメンテーション、カウントベンチマークにわたる実験は、以前のGRPOベースのベースラインよりも最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-08-02T07:43:09Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• The Hidden Cost of Approximation in Online Mirror Descent [56.99972253009168]
  オンラインミラー降下(OMD)は、最適化、機械学習、シーケンシャルな意思決定において多くのアルゴリズムの基盤となる基本的なアルゴリズムパラダイムである。 本研究では,不正確なOMDに関する系統的研究を開始し,正規化器の滑らかさと近似誤差に対する頑健さとの複雑な関係を明らかにする。
  論文  参考訳（メタデータ） (2025-11-27T10:09:07Z)
• Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
  RAGシステムは関連する文書を識別するためにリランカーに依存している。 注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。 我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
  論文  参考訳（メタデータ） (2025-02-16T13:23:39Z)
• Inference Scaling for Bridging Retrieval and Augmented Generation [47.091086803980765]
  大規模言語モデル(LLM)の出力を操る一般的なアプローチとして、検索拡張世代(RAG)が登場している。 このようなバイアスは、推論スケーリングから、検索されたコンテキストの置換順序からの推論呼び出しの集約まで緩和可能であることを示す。 ROUGE-L は MS MARCO で,EM は HotpotQA ベンチマークで 7 ポイント向上した。
  論文  参考訳（メタデータ） (2024-12-14T05:06:43Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。