論文の概要: Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models

• arxiv url: http://arxiv.org/abs/2508.19720v3
• Date: Sat, 30 Aug 2025 05:54:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 12:29:36.799996
• Title: Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models
• Title（参考訳）: 確率モデルによる文脈知識に対するLLMの連続的ステアリング
• Authors: Yilin Wang, Heng Wang, Yuyang Bai, Minnan Luo,
• Abstract要約: CSKS(Continuously Steering Knowledge Sensitivity)は、大規模言語モデルの文脈的知識に対する感受性を、軽量で継続的に評価するフレームワークである。 本研究では,LLMの文脈的知識に対する感度を連続的かつ高精度に制御し,感度の向上と感度の低減を実現していることを示す。
• 参考スコア（独自算出の注目度）: 33.022457807599075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Large Language Models (LLMs) generation, there exist knowledge conflicts and scenarios where parametric knowledge contradicts knowledge provided in the context. Previous works studied tuning, decoding algorithms, or locating and editing context-aware neurons to adapt LLMs to be faithful to new contextual knowledge. However, they are usually inefficient or ineffective for large models, not workable for black-box models, or unable to continuously adjust LLMs' sensitivity to the knowledge provided in the context. To mitigate these problems, we propose CSKS (Continuously Steering Knowledge Sensitivity), a simple framework that can steer LLMs' sensitivity to contextual knowledge continuously at a lightweight cost. Specifically, we tune two small LMs (i.e. proxy models) and use the difference in their output distributions to shift the original distribution of an LLM without modifying the LLM weights. In the evaluation process, we not only design synthetic data and fine-grained metrics to measure models' sensitivity to contextual knowledge but also use a real conflict dataset to validate CSKS's practical efficacy. Extensive experiments demonstrate that our framework achieves continuous and precise control over LLMs' sensitivity to contextual knowledge, enabling both increased sensitivity and reduced sensitivity, thereby allowing LLMs to prioritize either contextual or parametric knowledge as needed flexibly. Our data and code are available at https://github.com/OliveJuiceLin/CSKS.
• Abstract（参考訳）: LLM(Large Language Models)生成では、パラメトリック知識が文脈で提供される知識と矛盾する知識の衝突やシナリオが存在する。 以前の研究は、LLMを新しい文脈知識に忠実に適応させるために、チューニング、復号アルゴリズム、文脈認識ニューロンの位置決め、編集を研究していた。 しかしながら、これらは大きなモデルでは非効率または非効率であり、ブラックボックスモデルでは機能せず、文脈で提供される知識に対してLLMの感度を継続的に調整することができない。 これらの問題を緩和するためにCSKS(Continuously Steering Knowledge Sensitivity)を提案する。 具体的には、2つの小さなLM(プロキシモデル)をチューニングし、出力分布の差を利用して、LLMの重みを変更することなく、LLMの元の分布をシフトする。 評価プロセスでは、文脈知識に対するモデルの感度を測定するために合成データと詳細なメトリクスを設計するだけでなく、実際のコンフリクトデータセットを使用してCSKSの実用性を検証する。 拡張実験により,LLMの文脈的知識に対する感度を連続的かつ正確に制御し,感度の向上と感度の低減を両立させることにより,LLMの文脈的知識とパラメータ的知識を柔軟に優先順位付けできることが実証された。 私たちのデータとコードはhttps://github.com/OliveJuiceLin/CSKS.comで公開されています。

関連論文リスト

• TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
  TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。 共同推論と動的KG精製を大きな言語モデルと組み合わせる。 複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
  論文  参考訳（メタデータ） (2025-08-06T14:25:05Z)
• LLMs Struggle to Perform Counterfactual Reasoning with Parametric Knowledge [18.677808169753032]
  大規模言語モデルには、そのパラメータに広範な世界的知識が含まれており、多くの知識集約的なタスクに対する印象的なパフォーマンスを実現している。 しかし、新しい設定で展開する場合、LLMはしばしば、パラメトリック知識を新しい情報や馴染みのない情報と統合しなければならない状況に遭遇する。 この研究は、LLMが文脈内知識とパラメトリック知識を対実的推論のレンズを通して組み合わせることができるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-06-15T01:08:05Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• Federated In-Context LLM Agent Learning [3.4757641432843487]
  大規模言語モデル(LLM)は、論理的推論、ツールの使用、エージェントとしての外部システムとの相互作用を可能にすることによって、インテリジェントなサービスに革命をもたらした。 本稿では,プライバシ保護型フェデレーション・イン・コンテクスト LLM Agent Learning (FICAL) アルゴリズムを提案する。 その結果、FICALは、他のSOTAベースラインと比較して競争性能が優れており、通信コストの大幅な削減は、$mathbf3.33times105$倍であることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T03:00:24Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。