論文の概要: Knowledge Localization: Mission Not Accomplished? Enter Query Localization!

• arxiv url: http://arxiv.org/abs/2405.14117v1
• Date: Thu, 23 May 2024 02:44:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:15:00.632229
• Title: Knowledge Localization: Mission Not Accomplished? Enter Query Localization!
• Title（参考訳）: 知識のローカライゼーション: ミッションは複雑ではないか? クエリローカライゼーションに入る!
• Authors: Yuheng Chen, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao,
• Abstract要約: 知識ニューロン(KN)理論は、これらのメカニズムを説明するための顕著な理論である。 我々は、知識ローカライゼーション(KL)の仮定を再検討し、統計的および知識修正の観点から、それに準拠しない事実の存在を確認する。 そこで本研究では,知識修正の性能を向上させるConsistency-Aware KN修飾法を提案する。
• 参考スコア（独自算出の注目度）: 19.16542466297147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) store extensive factual knowledge, but the mechanisms behind how they store and express this knowledge remain unclear. The Knowledge Neuron (KN) thesis is a prominent theory for explaining these mechanisms. This theory is based on the knowledge localization (KL) assumption, which suggests that a fact can be localized to a few knowledge storage units, namely knowledge neurons. However, this assumption may be overly strong regarding knowledge storage and neglects knowledge expression mechanisms. Thus, we re-examine the KL assumption and confirm the existence of facts that do not adhere to it from both statistical and knowledge modification perspectives. Furthermore, we propose the Query Localization (QL) assumption. (1) Query-KN Mapping: The localization results are associated with the query rather than the fact. (2) Dynamic KN Selection: The attention module contributes to the selection of KNs for answering a query. Based on this, we further propose the Consistency-Aware KN modification method, which improves the performance of knowledge modification. We conduct 39 sets of experiments, along with additional visualization experiments, to rigorously validate our conclusions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、膨大な事実知識を格納するが、それらの知識の保存と表現方法の背後にあるメカニズムはいまだ不明である。 知識ニューロン(KN)理論は、これらのメカニズムを説明するための顕著な理論である。 この理論は知識局所化(KL)の仮定に基づいており、これは事実を知識記憶ユニット(すなわち知識ニューロン)に局所化することができることを示唆している。 しかし、この仮定は知識記憶に関して過度に強くなり、知識表現機構を無視する可能性がある。 したがって、KL仮定を再検討し、統計的・知識的な修正の観点から、その仮定に固執しない事実の存在を確認する。 さらに、クエリローカライゼーション(QL)の仮定を提案する。 1) クエリ-KNマッピング: ローカライゼーションの結果は、事実ではなくクエリに関連付けられている。 2) Dynamic KN Selection: クエリに応答するKNの選択にアテンションモジュールが貢献する。 そこで本研究では,知識修正の性能を向上するConsistency-Aware KN修飾法を提案する。 我々は39の実験を行い、さらに可視化実験を行い、結論を厳格に検証した。

関連論文リスト

• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Can Language Models Act as Knowledge Bases at Scale? [24.99538360485476]
  大規模言語モデル(LLM)は、複雑なクエリに対する応答の理解と生成に顕著な習熟性を示している。 本研究は,LLMがWikidataなどの最新の知識ベース(KB)に匹敵する大規模知識を効果的に保存し,リコールし,理性を持つことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-02-22T04:20:14Z)
• Cracking Factual Knowledge: A Comprehensive Analysis of Degenerate Knowledge Neurons in Large Language Models [23.11132761945838]
  大規模言語モデル(LLM)は、膨大な事実知識を格納するが、その基盤となるメカニズムはいまだ不明である。 これまでの研究では、事実知識は多層パーセプトロン重みに格納されていることが示唆されている。 いくつかの記憶装置は、縮退した知識ニューロンと呼ばれる縮退性を示す。
  論文  参考訳（メタデータ） (2024-02-21T11:50:32Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons [20.56154830853632]
  本稿では,多言語言語モデルにおいて,事実知識がどのように格納されているかを理解するための複雑な課題について考察する。 本稿では,知識ニューロンをより正確にローカライズするアーキテクチャ適応型多言語統合勾配法を提案する。 また、知識ニューロンの詳細な探索も行っており、以下の2つの重要な発見につながっている。
  論文  参考訳（メタデータ） (2023-08-25T06:26:05Z)
• Decker: Double Check with Heterogeneous Knowledge for Commonsense Fact Verification [80.31112722910787]
  異種知識をブリッジ可能な常識的事実検証モデルであるDeckerを提案する。 CSQA2.0とCREAKの2つのコモンセンス事実検証ベンチマークデータセットの実験結果から,Deckerの有効性が示された。
  論文  参考訳（メタデータ） (2023-05-10T06:28:16Z)
• Incremental Knowledge Based Question Answering [52.041815783025186]
  人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。 具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。 包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
  論文  参考訳（メタデータ） (2021-01-18T09:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。