論文の概要: Investigating Multi-Hop Factual Shortcuts in Knowledge Editing of Large
Language Models
- arxiv url: http://arxiv.org/abs/2402.11900v1
- Date: Mon, 19 Feb 2024 07:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:51:48.388497
- Title: Investigating Multi-Hop Factual Shortcuts in Knowledge Editing of Large
Language Models
- Title(参考訳): 大規模言語モデルの知識編集における複数ホップファクチュアルショートカットの検討
- Authors: Tianjie Ju, Yijin Chen, Xinwei Yuan, Zhuosheng Zhang, Wei Du, Yubin
Zheng, Gongshen Liu
- Abstract要約: 我々はまず,知識ニューロンによる事実的ショートカットの存在を探求する。
我々は,マルチホップ知識編集の観点から,事実的ショートカットによって引き起こされるリスクを分析する。
- 参考スコア(独自算出の注目度): 18.908682556794965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has showcased the powerful capability of large language models
(LLMs) in recalling knowledge and reasoning. However, the reliability of LLMs
in combining these two capabilities into reasoning through multi-hop facts has
not been widely explored. This paper systematically investigates the
possibilities for LLMs to utilize shortcuts based on direct connections between
the initial and terminal entities of multi-hop knowledge. We first explore the
existence of factual shortcuts through Knowledge Neurons, revealing that: (i)
the strength of factual shortcuts is highly correlated with the frequency of
co-occurrence of initial and terminal entities in the pre-training corpora;
(ii) few-shot prompting leverage more shortcuts in answering multi-hop
questions compared to chain-of-thought prompting. Then, we analyze the risks
posed by factual shortcuts from the perspective of multi-hop knowledge editing.
Analysis shows that approximately 20% of the failures are attributed to
shortcuts, and the initial and terminal entities in these failure instances
usually have higher co-occurrences in the pre-training corpus. Finally, we
propose erasing shortcut neurons to mitigate the associated risks and find that
this approach significantly reduces failures in multiple-hop knowledge editing
caused by shortcuts.
- Abstract(参考訳): 最近の研究は、知識と推論をリコールする際の大きな言語モデル(LLM)の強力な能力を示した。
しかし、これらの2つの能力とマルチホップ事実による推論を組み合わせたLLMの信頼性は、広く研究されていない。
本稿では,マルチホップ知識の初期と終端の直接接続に基づくショートカットの利用の可能性について,体系的に検討する。
まず、知識ニューロンを通して事実的近道の存在を探求し、そのことを明らかにします。
i) 実効的近道の強度は,事前訓練用コーパスにおける初期実体及び終端実体の共起頻度と高い相関関係にある。
(ii)単発プロンプトは、連鎖的プロンプトに比べて、複数ホップ質問への回答により多くのショートカットを利用する。
次に,多段階知識編集の観点から,事実的近道によって生じるリスクを分析した。
分析によると、障害の約20%はショートカットによるもので、これらの障害インスタンスの初期エンティティと終端エンティティは通常、トレーニング前のコーパスで高い共起がある。
最後に, ショートカットニューロンを消去し, 関連するリスクを軽減し, ショートカットによるマルチホップ知識編集の失敗を著しく低減する手法を提案する。
関連論文リスト
- Towards Faithful Explanations: Boosting Rationalization with Shortcuts
Discovery [13.36000250795298]
本稿では,潜在的ショートカットの発見と活用により合理化を促進するショートカット融合選択合理化法を提案する。
具体的には、SSRはいくつかの潜在的なショートカットを検出するショートカット発見アプローチを最初に設計した。
そして,同定されたショートカットを導入することで,合理性を構成するためにショートカットを利用する問題を緩和する2つの戦略を提案する。
論文 参考訳(メタデータ) (2024-03-12T07:24:17Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳(メタデータ) (2023-12-15T18:20:15Z) - Knowledge Crosswords: Geometric Reasoning over Structured Knowledge with
Large Language Models [51.35398315130094]
構造的知識に対する幾何学的推論を提案し、そこでは知識の一部がグラフ構造に連結され、モデルは不足した情報を埋める必要がある。
このような幾何学的知識推論は、構造化された知識、不確実性のある推論、事実の検証、エラーが発生した時のバックトラックを扱う能力を必要とする。
本稿では,不完全なエンティティネットワークの幾何学的制約を表す自然言語質問からなるマルチブランクQAデータセットであるKnowledge Crosswordsを提案する。
論文 参考訳(メタデータ) (2023-10-02T15:43:53Z) - Large Language Models Can be Lazy Learners: Analyze Shortcuts in
In-Context Learning [28.162661418161466]
大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。
本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。
より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
論文 参考訳(メタデータ) (2023-05-26T20:56:30Z) - Which Shortcut Solution Do Question Answering Models Prefer to Learn? [38.36299280464046]
質問応答(QA)モデルは、QAデータセットが意図したソリューションではなく、ショートカットソリューションを学ぶ傾向がある。
抽出および複数選択QAにおいて,回答位置と単語ラベル相関を利用したショートカットが優先的に学習されていることを示す。
我々は,ショートカットの学習性を利用して効果的なQA学習セットを構築することを実験的に示す。
論文 参考訳(メタデータ) (2022-11-29T13:57:59Z) - Shortcut Learning of Large Language Models in Natural Language
Understanding [119.45683008451698]
大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。
予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。
これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
論文 参考訳(メタデータ) (2022-08-25T03:51:39Z) - Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。
徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
論文 参考訳(メタデータ) (2021-06-02T08:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。