論文の概要: No-Worse Context-Aware Decoding: Preventing Neutral Regression in Context-Conditioned Generation

• arxiv url: http://arxiv.org/abs/2604.16686v1
• Date: Fri, 17 Apr 2026 20:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.133041
• Title: No-Worse Context-Aware Decoding: Preventing Neutral Regression in Context-Conditioned Generation
• Title（参考訳）: No-Worse Context-Aware Decoding:Context-Conditioned Generationにおけるニュートラル回帰防止
• Authors: Yufei Tao, Ameeta Agrawal,
• Abstract要約: LLM(Large Language Model)は、外部のコンテキストに条件付けされたときに、質問に答え、文書を要約することができる。 モデルは、文脈が非形式的である場合でも、既に正しい出力(中性回帰)を上書きすることができる。 本研究では,2段ゲートを備えた2ストリーム構成のデコード時アダプタであるNo-Worse Context-Aware Decoding (NWCAD)を提案する。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can answer questions and summarize documents when conditioned on external contexts (e.g., retrieved evidence), yet context use remains unreliable: models may overwrite an already-correct output (neutral regression) even when the context is non-informative. We formalize neutral regression as a do-no-harm requirement and quantify it by measuring accuracy drops on baseline-correct items under answer-consistent contexts. We propose No-Worse Context-Aware Decoding (NWCAD), a decode-time adapter built on a two-stream setup with a two-stage gate: it backs off to no-context decoding when the context is non-informative, and otherwise uses context-conditioned decoding with a CAD-style fallback under uncertainty. We evaluate NWCAD on benchmarks that separate do-no-harm reliability from context utilization (accuracy gains on genuinely helpful contexts). NWCAD prevents neutral regression on baseline-correct items while preserving strong context-driven accuracy on helpful contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、外部の文脈で条件付けされた場合(例えば、証拠の取得など)に質問に答え、文書を要約することができるが、コンテキストの使用は信頼性が低い。 我々は,中立回帰をDo-no-harm要件として定式化し,回答一貫性のある文脈下でのベースライン修正項目の精度低下を測定して定量化する。 提案するNo-Worse Context-Aware Decoding (NWCAD) は、2段ゲートを持つ2ストリーム構成のデコード時アダプタである。 我々は、文脈利用(真に有用な文脈での精度向上)からDo-no-harm信頼性を分離したベンチマーク上でNWCADを評価する。 NWCADは、有用なコンテキスト上で強いコンテキスト駆動の精度を維持しながら、ベースライン修正項目の中立回帰を防止する。

関連論文リスト

• UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference [41.15520696680647]
  長文推論は、注意の希釈とアウト・オブ・ディストリビューションの劣化により、大きな言語モデルでは困難である。 トークン単位の不確実性に基づいてコンテキストウィンドウを動的に調整する推論時フレームワークである Uncertainty-Triggered Adaptive Context Allocation (UT-ACA) を提案する。 UT-ACAは、長いコンテキスト設定で生成品質を保ちながら、平均的なコンテキスト使用量を大幅に削減することを示す実験である。
  論文  参考訳（メタデータ） (2026-03-19T03:17:50Z)
• When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
  大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。 本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
  論文  参考訳（メタデータ） (2026-02-09T05:58:41Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts [55.70338710797578]
  関連コンテンツと不適切なコンテンツを含む実世界のコンテキストとクエリをペアリングするPoisoned Context Testbedを紹介した。 動物における連想学習に触発されて、神経科学からRescorla-Wagner(RW)モデルを適用し、競合する文脈信号がLLM出力にどのように影響するかを定量化する。 RW-ステアリング(RW-Steering)は、2段階の微調整に基づくアプローチであり、モデルが不適切な信号を内部的に識別し無視することを可能にする。
  論文  参考訳（メタデータ） (2025-09-02T00:40:34Z)
• CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
  大規模言語モデルに対する文脈対応適応型復号法を提案する。 当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。 モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
  論文  参考訳（メタデータ） (2025-08-04T08:28:25Z)
• Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement [9.66890519317288]
  Retrieval-augmented Generation (RAG)は、知識集約的なタスクのパフォーマンスを向上させるが、間違った、無関係、あるいは、検索されたテキストの矛盾によって脱線することができる。 本稿では,大規模言語モデルにパラメトリック知識を用いた強化学習フレームワークであるKnowledgeable-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-05T15:34:15Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。