論文の概要: ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models
- arxiv url: http://arxiv.org/abs/2601.04131v1
- Date: Wed, 07 Jan 2026 17:45:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-08 18:12:46.223261
- Title: ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models
- Title（参考訳）: ContextFocus: 大規模言語モデルにおける文脈忠実性のためのアクティベーションステアリング
- Authors: Nikhil Anand, Shwetha Somasundaram, Anirudh Phukan, Apoorv Saxena, Koyel Mukherjee,
- Abstract要約: 我々は、大規模言語モデルのための軽量なアクティベーションステアリングアプローチであるContextFocusを紹介する。
従来のアプローチとは異なり、我々のソリューションはモデル微調整を必要とせず、最小の推論時間オーバーヘッドを発生させる。
大規模な実験により、ContextFocusは文脈の忠実さを大幅に改善することが示された。
- 参考スコア（独自算出の注目度）: 12.205200446768814
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) encode vast amounts of parametric knowledge during pre-training. As world knowledge evolves, effective deployment increasingly depends on their ability to faithfully follow externally retrieved context. When such evidence conflicts with the model's internal knowledge, LLMs often default to memorized facts, producing unfaithful outputs. In this work, we introduce ContextFocus, a lightweight activation steering approach that improves context faithfulness in such knowledge-conflict settings while preserving fluency and efficiency. Unlike prior approaches, our solution requires no model finetuning and incurs minimal inference-time overhead, making it highly efficient. We evaluate ContextFocus on the ConFiQA benchmark, comparing it against strong baselines including ContextDPO, COIECD, and prompting-based methods. Furthermore, we show that our method is complementary to prompting strategies and remains effective on larger models. Extensive experiments show that ContextFocus significantly improves contextual-faithfulness. Our results highlight the effectiveness, robustness, and efficiency of ContextFocus in improving contextual-faithfulness of LLM outputs.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練中に大量のパラメトリック知識を符号化する。
世界の知識が進化するにつれて、効果的なデプロイメントは、外部から取得したコンテキストを忠実に追従する能力にますます依存する。
このような証拠がモデルの内部知識と矛盾する場合、LLMはしばしば記憶された事実をデフォルトとし、不誠実な出力を生成する。
本研究では,これらの知識の難易度と効率性を保ちながら,コンテキスト忠実度を向上させる軽量なアクティベーションステアリングアプローチであるContextFocusを紹介する。
従来のアプローチとは異なり、我々のソリューションはモデル微調整を必要とせず、最小の推論時間オーバーヘッドを発生させるため、非常に効率的である。
我々は、ConFiQAベンチマークでContextFocusを評価し、ContextDPO、COIECD、プロンプトベースのメソッドなどの強力なベースラインと比較した。
さらに,本手法は戦略の促進に相補的であり,より大きなモデルに対して有効であることを示す。
大規模な実験により、ContextFocusは文脈の忠実さを大幅に改善することが示された。
本結果は,LLM出力の文脈的忠実性向上におけるContextFocusの有効性,堅牢性,効率性を強調した。
関連論文リスト
- Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - Beyond RAG vs. Long-Context: Learning Distraction-Aware Retrieval for Efficient Knowledge Grounding [5.353135097018941]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) を外部の最新の情報に基盤付けるためのフレームワークである。
本稿では,適応型検索システムLDAR(Learning Distraction-Aware Retrieval)を提案する。
論文 参考訳（メタデータ） (2025-09-26T04:40:42Z) - KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。
textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
論文 参考訳（メタデータ） (2025-09-26T04:32:29Z) - Improving Context Fidelity via Native Retrieval-Augmented Reasoning [35.50952279309109]
大規模言語モデル(LLM)は、しばしば文脈の忠実さと闘い、提供された情報に基づいて質問に答えるときに矛盾する答えを生み出す。
提案するCAREは, LLMに対して, モデル独自の検索機能を用いて, 推論プロセス内での文脈内証拠を明示的に統合するように教える, 新たなネイティブ検索拡張推論フレームワークである。
提案手法では,限定ラベル付きエビデンスデータが必要であり,推論チェーン内の戦略的に検索されたインコンテキストトークンを通じて,検索精度と回答生成性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-09-17T04:28:07Z) - Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management [15.059686456324853]
大規模言語モデル(LLM)は、プロアクティブな干渉による長いコンテキストの処理において、大幅な性能劣化に悩まされる。
Sculptorは、LLMにコンテキストの断片化、要約、隠蔽、復元、正確な検索という3つのカテゴリのツールを装備するフレームワークである。
各種長文ベンチマークの実験的評価により、Sculptorは特定の訓練をしなくても性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2025-08-06T17:32:58Z) - Learning to Focus: Context Extraction for Efficient Code Vulnerability Detection with Language Models [16.23854525619129]
言語モデル(LM)は脆弱性検出の約束を示すが、脆弱で不確実な脆弱性位置のため、長く現実世界のコードに苦労する。
本研究では、LMに基づく脆弱性検出を学習し、センシティブなコンテキストを選択するモデルに依存しないフレームワークであるFocusVulを提案する。
論文 参考訳（メタデータ） (2025-05-23T04:41:54Z) - Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。
ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。
大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
論文 参考訳（メタデータ） (2024-12-18T04:08:18Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳（メタデータ） (2023-03-20T17:54:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。