論文の概要: RCCM: Diagnosing Gains and Harms in Reasoning-Prompt Transfer
- arxiv url: http://arxiv.org/abs/2610.19872v1
- Date: Wed, 14 Oct 2026 09:31:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.071398
- Title: RCCM: Diagnosing Gains and Harms in Reasoning-Prompt Transfer
- Title(参考訳): RCCM:Reasoning-Prompt Transferにおける利得とハームの診断
- Abstract要約: RCCMは、どのように世代が終わるかの記録と、同じ質問に答える。
さらに60の質問に対して、簡潔推論はPhiの自動回答マッチングを3つのコレクションで2,048の上限で改善する。
応答ステージの保存も改善され、追加のインプットとコールコストが削減される。
- 参考スコア(独自算出の注目度): 11.226669792850645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A reasoning prompt can improve one deployment and degrade another. RCCM (Reasoning-Control Capability Mismatch) examines these reversals by pairing answers to the same questions with records of how generation ends. Across five open-weight deployments and nine strategies, aggregate accuracy hides substantial question-level gains and harms; a common-budget MATH500 evaluation examines transfer on a separate sample. On 60 additional questions, concise reasoning improves Phi's automatic answer matching at a 2,048-token cap across three collections, but sharply reduces Qwen's. Author-reviewed final-answer commitments give a smaller, statistically unresolved Phi gain. Reserving an answer stage also improves matching, with additional input and call costs. These results show why a prompt benefit must be interpreted alongside its execution and evaluation: matching a reference answer need not mean delivering it, and an apparent compression benefit may admit another explanation. RCCM records this evidence for reproducible transfer comparisons.
- Abstract(参考訳): 推論プロンプトは、ひとつのデプロイメントを改善し、別のデプロイを分解する。
RCCM(Reasoning-Control Capability Mismatch)は、これらの逆転を、同じ質問に対して、どのように世代が終わるかの記録とペアリングすることによって調べる。
5つのオープンウェイト展開と9つの戦略で、集計精度は、かなりの質問レベルの利得と損害を隠蔽し、共通予算のMATH500評価は、別のサンプルの転送を検査する。
さらに60の質問に対して、簡潔推論はPhiの自動回答マッチングを3つのコレクションで2,048トーケンキャップで改善するが、Qwenの回答は大幅に減少する。
著者がレビューした最終回答のコミットメントは、より小さく、統計的に解決されていないPhiの利益をもたらす。
応答ステージの保存も改善され、追加のインプットとコールコストが削減される。
これらの結果は、なぜ迅速なメリットが実行と評価と共に解釈されなければならないのかを示している。
RCCMは再現可能な転送比較の証拠を記録している。
関連論文リスト
- Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting [0.0]
深層学習エージェントの2つのシステムプロンプトに反射的プロンプト進化(GEPA)を適用した。
我々は、トレイン、バリデーション、テストでトピックを共有できないトピック結合分割の下で評価する。
勝利のプロンプトのほぼ半分は記憶された応答キーだが、制御されたアブレーションは、それがエンコードする正確なトレーニング質問でさえも、このキーを表示する。
論文 参考訳(メタデータ) (2026-10-08T18:23:23Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳(メタデータ) (2026-10-01T03:02:17Z) - When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain [73.2163413577971]
そこで本研究では,回答よりも質問するタイミングと,不明瞭な情報を回復する質問を行う方法という,2つのスキルを教えるレシピを提案する。
不斉あいまいさボーナスは、金のあいまいさラベルに基づいて署名された報酬を端末トークンに割り当て、いつ尋ねるかを案内する。
また、データ単位のチューニングなしでデータセット間で転送し、アウト・オブ・ディストリビューションのベンチマークでシングルターンのQAパフォーマンスを保存する。
論文 参考訳(メタデータ) (2026-09-21T08:47:39Z) - Same Agent, Different Answers: A Repeat-Aware Audit of Corpus-Induced Answer Churn in Retrieval-Augmented QA [0.4351760066527804]
検索強化されたQAシステムは、要求されたモデル識別子、プロンプト、検索ポリシー、エビデンス深さ、レンダリング、露出した生成制御が固定された場合でも、インデックス展開後に異なる回答を返すことができる。
我々は、隠れた現象の正確さを正解とみなし、クロスショットの相違から反則を減じて過剰な解答を推定するemphSnapshot Compatibility Auditを導入する。
論文 参考訳(メタデータ) (2026-08-24T06:40:09Z) - CQC-RAG: Robust Retrieval-Augmented Generation via Cross-Query Consistency [9.50454647525075]
CQC-RAGは,クエリレベルの多様性注入とクエリ間の一貫性の評価を共同設計するフレームワークである。
CQC-RAGは、元の質問を多様だが意味を保ったクエリに書き換える。
根拠に基づくプロトコルを適用して、回答と証拠のペアを抽出し、信頼性の安定性に応じて回答を選択する。
論文 参考訳(メタデータ) (2026-06-11T15:01:49Z) - CounterRefine: Answer-Conditioned Counterevidence Retrieval for Inference-Time Knowledge Repair in Factual Question Answering [1.1279808969568255]
検索地上質問応答のための軽量な推論時間修復層であるCounterRefineを提案する。
CounterRefineは、最初に検索されたエビデンスから短い回答を生成し、その後、追加のサポートを集め、そのドラフト回答に条件付けられたフォローアップクエリと矛盾するエビデンスを集めます。
完全なSimpleQAベンチマークでは、CounterRefineは一致したGPT-5ベースラインRAGを5.8ポイント改善し、73.1%の精度で、報告された1ショットのGPT-5.4スコアを約40ポイント上回る。
論文 参考訳(メタデータ) (2026-03-17T03:27:25Z) - Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。
本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。
提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-02-09T10:41:44Z) - APR: Penalizing Structural Redundancy in Large Reasoning Models via Anchor-based Process Rewards [61.52322047892064]
テスト時間スケーリング(TTS)は、Large Reasoning Models(LRM)の機能を大幅に強化した。
我々は, LRM が推論過程において最終回答を得た後も, 再検討なしに反復的自己検証を頻繁に行うことを観察した。
本稿では,Anchor-based Process Reward (APR)を提案する。
論文 参考訳(メタデータ) (2026-01-31T14:53:20Z) - Recursive Chain-of-Feedback Prevents Performance Degradation from
Redundant Prompting [0.4662017507844857]
本稿では,このような反復行動とその効果について,新しい設定,CoF(Chain-of-Feedback)を定義することによって検討する。
これらの問題を緩和するために、新しい手法、Recursive Chain-of-Feedback (R-CoF)を提案する。
論文 参考訳(メタデータ) (2024-02-05T00:44:28Z) - LoL: A Comparative Regularization Loss over Query Reformulation Losses
for Pseudo-Relevance Feedback [70.44530794897861]
Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。
既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。
そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-25T10:42:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。