論文の概要: ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.04131v2
• Date: Mon, 12 Jan 2026 11:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 15:02:56.376729
• Title: ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models
• Title（参考訳）: ContextFocus: 大規模言語モデルにおける文脈忠実性のためのアクティベーションステアリング
• Authors: Nikhil Anand, Shwetha Somasundaram, Anirudh Phukan, Apoorv Saxena, Koyel Mukherjee,
• Abstract要約: 我々は、大規模言語モデルのための軽量なアクティベーションステアリングアプローチであるContextFocusを紹介する。 従来のアプローチとは異なり、我々のソリューションはモデル微調整を必要とせず、最小の推論時間オーバーヘッドを発生させる。 大規模な実験により、ContextFocusは文脈の忠実さを大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 12.205200446768814
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) encode vast amounts of parametric knowledge during pre-training. As world knowledge evolves, effective deployment increasingly depends on their ability to faithfully follow externally retrieved context. When such evidence conflicts with the model's internal knowledge, LLMs often default to memorized facts, producing unfaithful outputs. In this work, we introduce ContextFocus, a lightweight activation steering approach that improves context faithfulness in such knowledge-conflict settings while preserving fluency and efficiency. Unlike prior approaches, our solution requires no model finetuning and incurs minimal inference-time overhead, making it highly efficient. We evaluate ContextFocus on the ConFiQA benchmark, comparing it against strong baselines including ContextDPO, COIECD, and prompting-based methods. Furthermore, we show that our method is complementary to prompting strategies and remains effective on larger models. Extensive experiments show that ContextFocus significantly improves contextual-faithfulness. Our results highlight the effectiveness, robustness, and efficiency of ContextFocus in improving contextual-faithfulness of LLM outputs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練中に大量のパラメトリック知識を符号化する。 世界の知識が進化するにつれて、効果的なデプロイメントは、外部から取得したコンテキストを忠実に追従する能力にますます依存する。 このような証拠がモデルの内部知識と矛盾する場合、LLMはしばしば記憶された事実をデフォルトとし、不誠実な出力を生成する。 本研究では,これらの知識の難易度と効率性を保ちながら,コンテキスト忠実度を向上させる軽量なアクティベーションステアリングアプローチであるContextFocusを紹介する。 従来のアプローチとは異なり、我々のソリューションはモデル微調整を必要とせず、最小の推論時間オーバーヘッドを発生させるため、非常に効率的である。 我々は、ConFiQAベンチマークでContextFocusを評価し、ContextDPO、COIECD、プロンプトベースのメソッドなどの強力なベースラインと比較した。 さらに,本手法は戦略の促進に相補的であり,より大きなモデルに対して有効であることを示す。 大規模な実験により、ContextFocusは文脈の忠実さを大幅に改善することが示された。 本結果は,LLM出力の文脈的忠実性向上におけるContextFocusの有効性,堅牢性,効率性を強調した。

関連論文リスト

• Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management [15.059686456324853]
  大規模言語モデル(LLM)は、プロアクティブな干渉による長いコンテキストの処理において、大幅な性能劣化に悩まされる。 Sculptorは、LLMにコンテキストの断片化、要約、隠蔽、復元、正確な検索という3つのカテゴリのツールを装備するフレームワークである。 各種長文ベンチマークの実験的評価により、Sculptorは特定の訓練をしなくても性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-08-06T17:32:58Z)
• Learning to Focus: Context Extraction for Efficient Code Vulnerability Detection with Language Models [16.23854525619129]
  言語モデル(LM)は脆弱性検出の約束を示すが、脆弱で不確実な脆弱性位置のため、長く現実世界のコードに苦労する。 本研究では、LMに基づく脆弱性検出を学習し、センシティブなコンテキストを選択するモデルに依存しないフレームワークであるFocusVulを提案する。
  論文  参考訳（メタデータ） (2025-05-23T04:41:54Z)
• Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
  本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。 大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
  論文  参考訳（メタデータ） (2024-12-18T04:08:18Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。