論文の概要: Investigating Multi-Hop Factual Shortcuts in Knowledge Editing of Large Language Models
- arxiv url: http://arxiv.org/abs/2402.11900v2
- Date: Sun, 2 Jun 2024 09:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 16:38:05.220339
- Title: Investigating Multi-Hop Factual Shortcuts in Knowledge Editing of Large Language Models
- Title（参考訳）: 大規模言語モデルの知識編集における複数ホップファクチュアルショートカットの検討
- Authors: Tianjie Ju, Yijin Chen, Xinwei Yuan, Zhuosheng Zhang, Wei Du, Yubin Zheng, Gongshen Liu,
- Abstract要約: 我々はまず,知識ニューロンによる事実的ショートカットの存在を探求する。
我々は,マルチホップ知識編集の観点から,事実的ショートカットによって引き起こされるリスクを分析する。
- 参考スコア（独自算出の注目度）: 18.005770232698566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has showcased the powerful capability of large language models (LLMs) in recalling knowledge and reasoning. However, the reliability of LLMs in combining these two capabilities into reasoning through multi-hop facts has not been widely explored. This paper systematically investigates the possibilities for LLMs to utilize shortcuts based on direct connections between the initial and terminal entities of multi-hop knowledge. We first explore the existence of factual shortcuts through Knowledge Neurons, revealing that: (i) the strength of factual shortcuts is highly correlated with the frequency of co-occurrence of initial and terminal entities in the pre-training corpora; (ii) few-shot prompting leverage more shortcuts in answering multi-hop questions compared to chain-of-thought prompting. Then, we analyze the risks posed by factual shortcuts from the perspective of multi-hop knowledge editing. Analysis shows that approximately 20% of the failures are attributed to shortcuts, and the initial and terminal entities in these failure instances usually have higher co-occurrences in the pre-training corpus. Finally, we propose erasing shortcut neurons to mitigate the associated risks and find that this approach significantly reduces failures in multiple-hop knowledge editing caused by shortcuts.
- Abstract（参考訳）: 最近の研究は、知識と推論をリコールする際の大きな言語モデル(LLM)の強力な能力を示した。
しかし、これらの2つの能力とマルチホップ事実による推論を組み合わせたLLMの信頼性は、広く研究されていない。
本稿では,マルチホップ知識の初期と終端の直接接続に基づくショートカットの利用の可能性について,体系的に検討する。
我々はまず、知識ニューロンを通して現実のショートカットの存在を探索し、それを明らかにした。
一 実写ショートカットの強度は、事前学習コーパスにおける初期及び終末エンティティの共起頻度と高い相関性を有する。
(ii)少数ショットプロンプトは、チェーン・オブ・シークレットプロンプトに比べて、マルチホップ質問に回答する際のショートカットをより多く活用する。
そして,マルチホップ知識編集の観点から,事実的ショートカットによって引き起こされるリスクを分析する。
分析によると、障害の約20%はショートカットによるもので、これらの障害インスタンスの初期および終端エンティティは、通常、トレーニング前のコーパスでより高い共起率を持つ。
最後に, ショートカットニューロンを消去し, 関連するリスクを軽減し, ショートカットによるマルチホップ知識編集の失敗を著しく低減する手法を提案する。
関連論文リスト
- Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳（メタデータ） (2024-04-04T16:40:11Z) - Towards Faithful Explanations: Boosting Rationalization with Shortcuts Discovery [12.608345627859322]
本稿では,潜在的ショートカットの発見と活用により合理化を促進するショートカット融合選択合理化法を提案する。
具体的には、SSRはいくつかの潜在的なショートカットを検出するショートカット発見アプローチを最初に設計した。
そして,同定されたショートカットを導入することで,合理性を構成するためにショートカットを利用する問題を緩和する2つの戦略を提案する。
論文 参考訳（メタデータ） (2024-03-12T07:24:17Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳（メタデータ） (2024-02-17T05:22:56Z) - DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。
我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。
DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
論文 参考訳（メタデータ） (2024-01-19T03:48:27Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳（メタデータ） (2023-12-15T18:20:15Z) - Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models [49.23348672822087]
構造化された事実制約に縛られた不完全な知識ネットワークからなるベンチマークである知識クロスワードを提案する。
幾何学的知識推論の新しい設定は、既存の原子/線形マルチホップQAを超える新しいLM能力を必要とする。
我々は,既存のLLMと知識クロスワードのアプローチを評価するために,広範囲な実験を行っている。
論文 参考訳（メタデータ） (2023-10-02T15:43:53Z) - Large Language Models Can be Lazy Learners: Analyze Shortcuts in
In-Context Learning [28.162661418161466]
大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。
本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。
より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
論文 参考訳（メタデータ） (2023-05-26T20:56:30Z) - Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。
徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
論文 参考訳（メタデータ） (2021-06-02T08:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。