論文の概要: Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models

• arxiv url: http://arxiv.org/abs/2409.00617v1
• Date: Sun, 1 Sep 2024 05:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 13:27:03.929302
• Title: Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models
• Title（参考訳）: 知識のローカライゼーションは真か? 言語モデルにおけるエンティティとリレーショナルパースペクティブの相違
• Authors: Yifan Wei, Xiaoyan Yu, Yixuan Weng, Huanhuan Ma, Yuanzhe Zhang, Jun Zhao, Kang Liu,
• Abstract要約: 本研究では,知識編集による実体的知識と関係的知識の相違について検討する。 実体的知識と関係的知識の差異をさらに解明するために,関係的知識が事前学習されたモデルにどのように格納されているかを調べるために因果解析を用いる。 この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 20.157061521694096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models encapsulate knowledge and have demonstrated superior performance on various natural language processing tasks. Recent studies have localized this knowledge to specific model parameters, such as the MLP weights in intermediate layers. This study investigates the differences between entity and relational knowledge through knowledge editing. Our findings reveal that entity and relational knowledge cannot be directly transferred or mapped to each other. This result is unexpected, as logically, modifying the entity or the relation within the same knowledge triplet should yield equivalent outcomes. To further elucidate the differences between entity and relational knowledge, we employ causal analysis to investigate how relational knowledge is stored in pre-trained models. Contrary to prior research suggesting that knowledge is stored in MLP weights, our experiments demonstrate that relational knowledge is also significantly encoded in attention modules. This insight highlights the multifaceted nature of knowledge storage in language models, underscoring the complexity of manipulating specific types of knowledge within these models.
• Abstract（参考訳）: 大規模言語モデルは知識をカプセル化し、様々な自然言語処理タスクにおいて優れた性能を示した。 近年の研究では、中間層におけるMLP重みなどの特定のモデルパラメータにこの知識を局所化している。 本研究では,知識編集による実体的知識と関係的知識の相違について検討する。 この結果から,エンティティとリレーショナルの知識を直接伝達したり,マッピングしたりすることは不可能であることが判明した。 この結果は予想外であり、論理的には、同じ知識内の実体や関係を変更することは、等価な結果をもたらす。 実体的知識と関係的知識の差異をさらに解明するため,我々は因果解析を用いて,関係的知識が事前学習されたモデルにどのように格納されているかを調べる。 MLP重みに知識が格納されていることを示す以前の研究とは対照的に、我々の実験は、関係知識が注目モジュールにコード化されていることも示している。 この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。

関連論文リスト

• Probing Language Models on Their Knowledge Source [19.779433870719945]
  大規模言語モデル(LLM)は、しばしば、学習、内部(パラメトリック知識、PK)と推論中に提供される外部知識(コンテキスト知識、CK)の衝突に遭遇する。
  論文  参考訳（メタデータ） (2024-10-08T08:47:11Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• KEHRL: Learning Knowledge-Enhanced Language Representations with Hierarchical Reinforcement Learning [32.086825891769585]
  知識強化事前学習言語モデル(KEPLM)は知識グラフ(KG)から関係トリプルを利用する 従来の研究は、知識の強化を2つの独立した操作、すなわち知識注入と知識統合として扱う。 本稿では,不正確な知識や無関係な知識の注入を避けるために,知識注入位置の検出と外部知識のモデルへの統合という課題を共同で解決する。
  論文  参考訳（メタデータ） (2024-06-24T07:32:35Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction [15.534647327246239]
  大規模言語モデル(LLM)に埋め込まれた潜在知識を推定する手法を提案する。 我々は、LLMの文脈内学習能力を活用し、LLMが知識ベースに格納されている事実を知る範囲を推定する。
  論文  参考訳（メタデータ） (2024-04-19T15:40:39Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Does Knowledge Help General NLU? An Empirical Study [13.305282275999781]
  言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。 知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T18:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。