論文の概要: Contrastive Reflection for Iterative Prompt Optimization

• arxiv url: http://arxiv.org/abs/2606.30840v1
• Date: Mon, 29 Jun 2026 19:16:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.991313
• Title: Contrastive Reflection for Iterative Prompt Optimization
• Title（参考訳）: 反復的プロンプト最適化のためのコントラスト反射
• Authors: Derek Koh, Jinghui Mo, Benjamin H. Le, Jiening Zhan, Baofen Zheng, Kevin Bevis, Nathaniel C. Owen, Lauren Elizabeth Charney, Wenqiong Liu, Jingwei Wu,
• Abstract要約: エージェントIRの反復的プロンプト最適化フレームワークであるContrastive Reflectionを提案する。 フレームワークをツリーベースのスライスセレクタでインスタンス化するが、コントリビューションはツリー自体よりもコントラストループである。
• 参考スコア（独自算出の注目度）: 0.6533652962118279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents are becoming central to information retrieval: they issue retrieval queries, synthesize answers, and increasingly serve as judges for IR evaluation. Improving the prompts that control these agents is an optimization problem, but in applied IR settings it often looks less like blind search and more like debugging. Engineers need to know which behavior failed, which nearby behavior still worked, what distinguishes the two, and whether a prompt edit improves held-out quality without introducing regressions. We present Contrastive Reflection, an iterative prompt-optimization framework for agentic IR workflows. The framework starts from a task-centric quality definition: QA agents expose retrieval or reasoning traces, and grading agents expose dimension-level scores and rationales. These structured traces are used to identify error-anchored behavioral slices, add nearby successful examples from the same region, and ask a Teacher LLM to propose a targeted prompt edit. Candidate edits are accepted only when validation performance improves, optionally subject to regression checks. We instantiate the framework with a tree-based slice selector, but the contribution is the contrastive reflection loop rather than the tree itself. On a public HotpotQA retrieval-augmented QA setup, one tree-selected contrastive repair improves held-out exact-match accuracy from 51.4% to 60.4%. Failure-only and random-evidence variants improve less and break more previously correct examples. A light instruction-only comparison places the method near modern prompt optimizers: MIPROv2 reaches 59.4% and GEPA 57.0%. The result is an interpretable optimization loop for IR agents, aimed at making prompt repair more inspectable and validation-driven.
• Abstract（参考訳）: LLMエージェントは情報検索の中心となり、検索クエリを発行し、回答を合成し、IR評価の審査員としての役割を担っている。 これらのエージェントを制御するプロンプトを改善するのは最適化の問題だが、応用されたIR設定ではブラインド検索ではなく、デバッグのように見えることが多い。 エンジニアは、どの動作が失敗したか、どの動作がまだうまくいかなかったか、どの動作が2つを区別したのか、そして、迅速な編集がレグレッションを導入することなく、ホールドアウト品質を改善するかどうかを知る必要がある。 エージェントIRワークフローのための反復的プロンプト最適化フレームワークであるContrastive Reflectionを提案する。 QAエージェントは検索や推論トレースを公開し、グレーディングエージェントは次元レベルのスコアと合理性を公開します。 これらの構造化されたトレースは、エラー修正された振る舞いスライスを識別し、同じ領域で成功したサンプルを追加し、教師 LLM にターゲットとするプロンプト編集を提案するために使用される。 検証性能が向上した場合にのみ候補編集が受理され、オプションで回帰チェックを受ける。 フレームワークをツリーベースのスライスセレクタでインスタンス化するが、コントリビューションはツリー自体ではなく、対照的なリフレクションループである。 公開のHotpotQA検索強化QA設定では、ツリー選択のコントラスト修復により、保持された正確なマッチ精度が51.4%から60.4%に改善されている。 フェールオンリーおよびランダムエビデンス変種は改善され、以前より正しい例が壊れる。 MIPROv2 は 59.4% と GEPA 57.0% である。 その結果、IRエージェントの解釈可能な最適化ループとなり、即時修復をより検査し、検証駆動にすることを目的としている。

関連論文リスト

• Closing the Reflection Gap: A Free Calibration Bonus for Agentic RL [12.234169944475537]
  RefGRPOは、標準的なRLアルゴリズムを2つの重要な要素で強化する、シンプルだが効果的な修正である。 エージェント自身の反射と実際の結果とを対比して計算した自由キャリブレーションボーナス。 結果の反射は、エージェントを環境フィードバックに基づく独自の検証器に変える。
  論文  参考訳（メタデータ） (2026-06-12T07:47:15Z)
• Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents [6.158612515104146]
  エージェントフィードバックとレビュアーフィードバックのトレードオフを測定するために、ヘルプフルネス・ハームフルネスメトリクスを導入します。 我々はBFCLとTau2-Bench(マルチターンステートフルシナリオ)に対するアプローチを評価し、無関係検出では+5.5%、マルチターンタスクでは+7.1%を達成した。 GPT-4oでは,評価モデルo3-miniが3:1の利益率と2.1:1の利益率を達成した。
  論文  参考訳（メタデータ） (2026-04-29T22:09:47Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
  複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。 提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。 本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
  論文  参考訳（メタデータ） (2026-03-11T19:51:33Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Failure Makes the Agent Stronger: Enhancing Accuracy through Structured Reflection for Reliable Tool Interactions [10.598440138966028]
  現在の自己回帰のプラクティスは、プロンプトや一方的な推論に依存しています。 提案する構造的リフレクションは, エラーから修復までの経路を明示的で制御可能な, 訓練可能な動作に変換する。 BFCL v3とTool-Reflection-Benchの実験では、マルチターンツールコールの成功とエラー回復、冗長呼び出しの削減が大幅に向上した。
  論文  参考訳（メタデータ） (2025-09-23T09:35:49Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。