論文の概要: Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting

• arxiv url: http://arxiv.org/abs/2610.12601v1
• Date: Thu, 08 Oct 2026 18:23:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.247244
• Title: Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting
• Title（参考訳）: ディープリサーチエージェントの反射型プロンプト最適化:転送可能なゲインの測定とプロンプトレベルオーバーフィッティングのためのトピック・ディスジョイント・マルチシードプロトコル
• Abstract要約: 深層学習エージェントの2つのシステムプロンプトに反射的プロンプト進化(GEPA)を適用した。 我々は、トレイン、バリデーション、テストでトピックを共有できないトピック結合分割の下で評価する。 勝利のプロンプトのほぼ半分は記憶された応答キーだが、制御されたアブレーションは、それがエンコードする正確なトレーニング質問でさえも、このキーを表示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt optimization is an attractive alternative to reinforcement learning for adapting language-model agents, since it is cheap and produces human-readable artifacts. On factual tasks, however, it carries a failure mode that scalar-reward reinforcement learning does not. An optimizer that reads the training examples can write their answers into the prompt, so an in-distribution gain may be memorization rather than transferable behaviour. We apply reflective prompt evolution (GEPA) to the two system prompts of a multi-agent deep-research agent and evaluate it under a topic-disjoint split in which no topic is shared across train, validation, and test. Held-out citation reward rises by 0.079, from 0.702 to 0.781, with a bootstrap 95\% confidence interval of [0.051, 0.107], and the gain replicates across three seeds (mean 0.107). Nearly half of the winning prompt is a memorized answer key, yet a controlled ablation shows this content earns no reward even on the exact training questions it encodes. The large validation-minus-held-out gap is therefore small-sample selection under a noisy judge, not memorization. Varying the verifier isolates what makes the gain transfer. Decomposed per-dimension feedback is the causal ingredient, and collapsing it to a single scalar reward makes held-out transfer negative. The gain persists under an out-of-family judge and is largely reproduced by a hand-written version of the discovered recipe. Credible evaluation of prompt optimizers therefore requires held-out topics, multiple seeds, and verifier ablations. We release the candidate prompts, lineage diffs, figures, tables, and analysis.
• Abstract（参考訳）: プロンプト最適化は、安価で可読性のあるアーティファクトを生産するため、言語モデルエージェントに適応するための強化学習の魅力的な代替手段である。 しかし、実際のタスクでは、スカラー・リワード強化学習では不可能な障害モードが実行されます。 トレーニング例を読み込むオプティマイザは、その回答をプロンプトに書き込むことができるため、配信中のゲインは、転送可能な振る舞いではなく記憶である可能性がある。 我々は,多エージェントディープリサーチエージェントの2つのシステムプロンプトに反射的プロンプト進化(GEPA)を適用し,そのトピックを列車,検証,テスト間で共有しないトピック結合分割の下で評価する。 ヒードアウト励振報酬は0.079から0.781に上昇し、ブートストラップ95%の信頼区間は[0.051, 0.107]、ゲインは3つの種(平均0.107)で複製される。 勝利のプロンプトのほぼ半分は記憶された回答キーだが、制御されたアブレーションは、このコンテンツがエンコードした正確なトレーニングの質問でさえ、報酬を得ることはないことを示している。 したがって、大きなバリデーション・ミニス・ホールドアウトギャップは、暗記ではなくノイズの多い判断の下で小さなサンプル選択である。 Varying the verifier is isolated that makes the gain transfer. 分解された1次元フィードバックは因果成分であり、単一のスカラー報酬に折り畳むと、保留移動が負となる。 ゲインは家庭外の判事の下で持続し、発見されたレシピの手書きバージョンで大半が再現される。 したがって、プロンプトオプティマイザの信頼性評価には、ホールドアウトトピック、複数シード、検証アブリケーションが必要である。 候補のプロンプト、系統差、数字、表、分析を公開します。

関連論文リスト

• ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration [84.10540890311843]
  再学習後、必然的に確率質量をいくつかの報奨モード、即時多様性を消去するモード崩壊に集中させる。 本稿では、内部の確率質量再校正により、高逆低ダイバーシティアダプタを修復するReNFTを提案する。 PickScoreとGenEvalでは、ReNFTはNFTの報酬の98.9%と99.0%を保持し、DreamSim-Divは58.8%、55.0%改善している。
  論文  参考訳（メタデータ） (2026-08-30T14:13:50Z)
• Search-G1: Grounded Search Agents via Representation-Based Intrinsic Rewards [4.1446390187932325]
  検索強化された言語エージェントは、必要なときにのみ外部情報を検索し、その答えを検索された証拠に根拠づけるべきである。 本稿では,2つの介入校正読解を通してエージェントの回答の操作的根拠を測定する,表現に基づく本質的な報酬フレームワークであるSearch-G1を提案する。
  論文  参考訳（メタデータ） (2026-07-24T15:22:57Z)
• When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL [10.399451281089318]
  我々はMiniGridをコア評価として,MuJoCoを境界応力試験として用いたPPO訓練剤について検討した。 私たちの監査では、報酬の洪水とセマンティック/API誤解という、2つの主要なワンショット障害モードを見つけました。 本稿では,トレーニング診断と障害モード分類ガイドが報酬関数の修正を対象とする,診断駆動反復改善法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:57:43Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Abductive Preference Learning [2.83533907065442]
  提案手法は,従来の条件を,応答が与えられたプロンプトよりも優先する学習によって逆転させる,微調整のパラダイムである。 標準手法は応答選択を改善し、帰納的手法は迅速な識別を改善し、マルチタスクの目的は両方を統一する。
  論文  参考訳（メタデータ） (2025-10-10T21:55:26Z)
• Adaptive Segment-level Reward: Bridging the Gap Between Action and Reward Space in Alignment [13.087267214534727]
  強化学習(RL)は大規模言語モデル(LLM)と人間の嗜好の整合に極めて効果的であることが証明されている。 典型的なRL法は、全体的なシーケンス報酬の下で最適化され、最適以下の学習プロセスにつながる可能性がある。 これは重要なクレジット割り当ての問題、すなわち、強化または抑制するトークンを特定することを反映している。
  論文  参考訳（メタデータ） (2024-10-23T16:16:15Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。 損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-02T03:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。