論文の概要: Analysing the Residual Stream of Language Models Under Knowledge Conflicts

• arxiv url: http://arxiv.org/abs/2410.16090v1
• Date: Mon, 21 Oct 2024 15:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:15.338437
• Title: Analysing the Residual Stream of Language Models Under Knowledge Conflicts
• Title（参考訳）: 言語モデルの残差ストリームを知識紛争下で解析する
• Authors: Yu Zhao, Xiaotang Du, Giwon Hong, Aryo Pradipta Gema, Alessio Devoto, Hongru Wang, Xuanli He, Kam-Fai Wong, Pasquale Minervini,
• Abstract要約: 大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
• 参考スコア（独自算出の注目度）: 23.96385393039587
• License:
• Abstract: Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context. Such conflicts can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. In this work, we investigate whether LLMs can identify knowledge conflicts and whether it is possible to know which source of knowledge the model will rely on by analysing the residual stream of the LLM. Through probing tasks, we find that LLMs can internally register the signal of knowledge conflict in the residual stream, which can be accurately detected by probing the intermediate model activations. This allows us to detect conflicts within the residual stream before generating the answers without modifying the input or model parameters. Moreover, we find that the residual stream shows significantly different patterns when the model relies on contextual knowledge versus parametric knowledge to resolve conflicts. This pattern can be employed to estimate the behaviour of LLMs when conflict happens and prevent unexpected answers before producing the answers. Our analysis offers insights into how LLMs internally manage knowledge conflicts and provides a foundation for developing methods to control the knowledge selection processes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 このような矛盾は、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。 本研究では, LLM が知識衝突を識別できるかどうか, LLM の残留ストリームを解析することにより,モデルが依存する知識の源を知ることができるかどうかを検討する。 タスクを探索することで,LLMが内部的に残留ストリームに知識衝突のシグナルを登録でき,中間モデルのアクティベーションを探索することで正確に検出できることがわかった。 これにより、入力パラメータやモデルパラメータを変更することなく、回答を生成する前に、残ストリーム内の競合を検出することができます。 さらに、残差ストリームは、競合を解決するために、文脈的知識とパラメトリック的知識に依存する場合、大きく異なるパターンを示す。 このパターンは、衝突が発生したときのLCMの挙動を推定し、回答を生成する前に予期せぬ回答を防止できる。 我々の分析は、LLMが内部的に知識の衝突を管理する方法についての洞察を提供し、知識選択プロセスを制御する方法を開発するための基盤を提供する。

関連論文リスト

• Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering [23.96385393039587]
  大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 LLMは、中間層における知識衝突のシグナルを内部的に登録することができる。 我々は,事前訓練されたスパースオートエンコーダを用いた表現工学手法であるtextscSpAREを提案する。
  論文  参考訳（メタデータ） (2024-10-21T13:30:47Z)
• Probing Language Models on Their Knowledge Source [19.779433870719945]
  大規模言語モデル(LLM)は、しばしば、学習、内部(パラメトリック知識、PK)と推論中に提供される外部知識(コンテキスト知識、CK)の衝突に遭遇する。
  論文  参考訳（メタデータ） (2024-10-08T08:47:11Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
  大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。 知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。 文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:57:45Z)
• Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence [37.18100697469402]
  パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。 検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。 我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
  論文  参考訳（メタデータ） (2022-10-25T01:46:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。