論文の概要: Untying the Reversal Curse via Bidirectional Language Model Editing

• arxiv url: http://arxiv.org/abs/2310.10322v1
• Date: Mon, 16 Oct 2023 12:04:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 14:46:57.123721
• Title: Untying the Reversal Curse via Bidirectional Language Model Editing
• Title（参考訳）: 双方向言語モデル編集による逆転的呪いの解消
• Authors: Jun-Yu Ma, Jia-Chen Gu, Zhen-Hua Ling, Quan Liu, Cong Liu
• Abstract要約: 大規模言語モデル(LLM)は、膨大な事実知識をパラメータに格納する。 LLMは、誤ったまたは時代遅れの知識のために意図しないテキストを幻覚させる傾向がある。 本研究では、双方向言語モデル編集について検討し、LLMが双方向で編集知識をリコールできるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 44.03030861000567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have demonstrated that large language models (LLMs) store massive factual knowledge within their parameters. But existing LLMs are prone to hallucinate unintended text due to false or outdated knowledge. Since retraining LLMs is resource intensive, there has been a growing interest in the concept of model editing. Despite the emergence of benchmarks and approaches, these unidirectional editing and evaluation have failed to explore the reversal curse. Intuitively, if "The capital of France is" is edited to be a counterfact "London" within a model, then it should be able to naturally reason and recall the reverse fact, i.e., "London is the capital of" followed by "France" instead of "England". In this paper, we study bidirectional language model editing, aiming to provide rigorous model editing evaluation to assess if edited LLMs can recall the editing knowledge bidirectionally. A new evaluation metric of reversibility is introduced, and a benchmark dubbed as Bidirectional Assessment for Knowledge Editing (BAKE) is constructed to evaluate the reversibility of edited models in recalling knowledge in the reverse direction of editing. We surprisingly observe that while current editing methods and LLMs can effectively recall editing facts in the direction of editing, they suffer serious deficiencies when evaluated in the reverse direction. To mitigate the reversal curse, a method named Bidirectionally Inversible Relationship moDeling (BIRD) is proposed. A set of editing objectives that incorporate bidirectional relationships between subject and object into the updated model weights are designed. Experiments show that BIRD improves the performance of four representative LLMs of different sizes via question answering and judgement.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)がパラメータ内に膨大な事実知識を蓄積していることが示されている。 しかし、既存のLSMは、誤ったまたは時代遅れの知識のために意図しないテキストを幻覚させる傾向がある。 LLMの再学習は資源集約的であるため、モデル編集の概念への関心が高まっている。 ベンチマークやアプローチの出現にもかかわらず、この一方向の編集と評価は逆の呪いを探求することはできなかった。 直感的には、もし「フランスの首都」がモデル内の反ファクト「ロンドン」として編集された場合、逆の事実、すなわち「ロンドンは首都」を「イングランド」の代わりに「フランス」として、自然に推論し、思い出させることができるはずである。 本稿では, 双方向言語モデル編集について検討し, 厳密なモデル編集評価を提供することにより, 編集されたLLMが双方向の知識を記憶できるかどうかを評価する。 新たな可逆性評価指標を導入し、編集の逆方向の知識を想起する際の編集モデルの可逆性を評価するために、BAKE(Bidirectional Assessment for Knowledge Editing)と呼ばれるベンチマークを構築した。 我々は,現在の編集方法やllmが,編集方向の編集事実を効果的にリコールできるのに対して,逆方向の評価では深刻な欠陥が生じているのを意外に観察する。 逆の呪いを軽減するため,BIRD (Bidirectionally Inversible Relationship moDeling) という手法が提案されている。 対象物と対象物の双方向関係を更新されたモデル重みに組み込んだ編集対象セットを設計する。 実験の結果,BIRD は質問応答と判断により,異なる大きさの 4 種類の LLM の性能を向上させることが示された。

関連論文リスト

• Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs? [61.68363765350178]
  本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。 まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。 次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
  論文  参考訳（メタデータ） (2024-06-27T17:33:03Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• Emptying the Ocean with a Spoon: Should We Edit Models? [8.545919917068273]
  LLM世代における事実誤りを訂正する手段として,最近普及した直接モデル編集手法を疑問視する。 モデル編集は、より明確な目的を追求する3つの類似しているが異なるアプローチと対比する。
  論文  参考訳（メタデータ） (2023-10-18T13:38:03Z)
• Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
  知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。 本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。 実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
  論文  参考訳（メタデータ） (2023-10-03T15:10:46Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。