論文の概要: Context-Fidelity Boosting: Enhancing Faithful Generation through Watermark-Inspired Decoding
- arxiv url: http://arxiv.org/abs/2604.22335v1
- Date: Fri, 24 Apr 2026 08:07:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.394768
- Title: Context-Fidelity Boosting: Enhancing Faithful Generation through Watermark-Inspired Decoding
- Title（参考訳）: コンテキストフィデリティブースティング:ウォーターマークにインスパイアされたデコードによる忠実な生成の促進
- Authors: Weixu Zhang, Fanghua Ye, Qiang Gao, Jian Li, Haolun Wu, Yuxing Tian, Sijing Duan, Nan Du, Xiaolong Li, Xue Liu,
- Abstract要約: Context-Fidelity Boosting (CFB) は軽量で汎用的なデコーディング・タイム・フレームワークである。
CFBは、入力コンテキストからのトークンのサポート度に基づいて、追加のトークンレベルのロジット調整を適用する。
CFBは、生成オーバーヘッドを最小限に抑えて、忠実度指標を継続的に改善することを示す。
- 参考スコア（独自算出の注目度）: 21.832913197362995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) often produce content that contradicts or overlooks information provided in the input context, a phenomenon known as faithfulness hallucination. In this paper, we propose Context-Fidelity Boosting (CFB), a lightweight and general decoding-time framework that reduces such hallucinations by increasing the generation probability of source-supported tokens. Motivated by logit-shaping principles from watermarking techniques, CFB applies additive token-level logit adjustments based on a token's degree of support from the input context. Specifically, we develop three boosting strategies: static boosting, which applies a fixed bias to source-supported tokens; context-aware boosting, which scales this bias using the divergence between next-token distributions with and without context; and token-aware boosting, which further redistributes the adaptive bias according to local relevance estimated from source-position attention and source-scoped semantic similarity. CFB requires no retraining or architectural changes, making it compatible with a wide range of LLMs. Experiments on summarization and question answering tasks across multiple open-source LLMs show that CFB consistently improves faithfulness metrics with minimal generation overhead. Our implementation is fully open-sourced.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、忠実幻覚として知られる、入力コンテキストで提供された情報に矛盾したり、見落としたりする内容を生成する。
本稿では、ソース支援トークンの生成確率を高めて幻覚を低減する軽量で汎用的な復号時間フレームワークであるContext-Fidelity Boosting (CFB)を提案する。
電子透かし技術によるロジット整形原理により、CFBは入力コンテキストからのトークンのサポート度合いに基づいて、付加的なトークンレベルのロジット調整を適用する。
具体的には、ソース支援トークンに固定バイアスを適用する静的ブースティング、コンテキスト対応ブースティング、コンテキストなしの次トーケン分布間のばらつきを用いてこのバイアスをスケールするコンテキスト対応ブースティング、ソース位置の注意とソーススコープのセマンティック類似性から推定された局所的関連性に基づいて適応バイアスを再分配するトークン対応ブースティングの3つの方法を開発する。
CFBは再訓練やアーキテクチャの変更を必要としないため、幅広いLLMと互換性がある。
複数のオープンソースLCM間での要約および質問応答タスクの実験により、CFBは、生成オーバーヘッドを最小限に抑えて、忠実度指標を一貫して改善することを示した。
私たちの実装は完全にオープンソースです。
関連論文リスト
- Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。
PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。
理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
論文 参考訳（メタデータ） (2026-04-02T09:53:20Z) - OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs [31.589945976149973]
我々は、Attributionを世代追跡問題として形式化する軽量でモデルに依存しないフレームワークであるOmniTraceを紹介した。
本研究では, 世代別スパンレベルの属性が, 自己帰属よりも安定かつ解釈可能な説明をもたらすことを示す。
この結果から,属性を構造化された生成時トレース問題として扱うことは,オムニモーダル言語モデルにおける透明性のスケーラブルな基盤となることが示唆された。
論文 参考訳（メタデータ） (2026-03-20T17:25:00Z) - Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。
ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。
複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
論文 参考訳（メタデータ） (2026-03-18T12:54:50Z) - Contextual Counterfactual Credit Assignment for Multi-Agent Reinforcement Learning in LLM Collaboration [22.269718913202595]
コンテキスト非現実的クレジット割り当て(textbftextttC3)を導入する。
textbftextttC3は、エピソード全体で報酬を分配する代わりに、個々のメッセージの因果的影響を分離する。
textbftextttC3は、確立されたベースラインよりもターミナルパフォーマンスを改善する。
論文 参考訳（メタデータ） (2026-03-06T20:25:11Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - MARS-Sep: Multimodal-Aligned Reinforced Sound Separation [72.85468563236005]
MARS-Sepは音分離のための強化学習フレームワークである。
クリッピングされた信頼領域サロゲートによって最適化された、ファクタライズされたベータマスクポリシを学ぶ。
複数のベンチマークの実験は、テキスト、オーディオ、イメージ-キュード分離において一貫した利得を示している。
論文 参考訳（メタデータ） (2025-10-12T09:05:28Z) - CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
大規模言語モデルに対する文脈対応適応型復号法を提案する。
当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。
モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
論文 参考訳（メタデータ） (2025-08-04T08:28:25Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z) - BRIDLE: Generalized Self-supervised Learning with Quantization [15.121857164574704]
自己教師付き学習は、さまざまな領域にわたるラベルなしデータから意味のある表現を学ぶための強力なアプローチである。
BERTが自然言語処理において双方向の深いコンテキストを捉えることに触発されて、同様のフレームワークがオーディオなどの他のモダリティに適応している。
本稿では、残留量子化を双方向学習プロセスに組み込んだ自己教師型事前学習フレームワークBRIDLEを紹介する。
論文 参考訳（メタデータ） (2025-02-04T08:54:06Z) - Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。
ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。
大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
論文 参考訳（メタデータ） (2024-12-18T04:08:18Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。