論文の概要: Assessing Knowledge Editing in Language Models via Relation Perspective

• arxiv url: http://arxiv.org/abs/2311.09053v1
• Date: Wed, 15 Nov 2023 15:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 15:16:27.730217
• Title: Assessing Knowledge Editing in Language Models via Relation Perspective
• Title（参考訳）: リレーショナルパースペクティブによる言語モデルにおける知識編集の評価
• Authors: Yifan Wei, Xiaoyan Yu, Huanhuan Ma, Fangyu Lei, Yixuan Weng, Ran Song, Kang Liu
• Abstract要約: 本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。 我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。 本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
• 参考スコア（独自算出の注目度）: 21.64869056276927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Editing (KE) for modifying factual knowledge in Large Language Models (LLMs) has been receiving increasing attention. However, existing knowledge editing methods are entity-centric, and it is unclear whether this approach is suitable for a relation-centric perspective. To address this gap, this paper constructs a new benchmark named RaKE, which focuses on Relation based Knowledge Editing. In this paper, we establish a suite of innovative metrics for evaluation and conduct comprehensive experiments involving various knowledge editing baselines. We notice that existing knowledge editing methods exhibit the potential difficulty in their ability to edit relations. Therefore, we further explore the role of relations in factual triplets within the transformer. Our research results confirm that knowledge related to relations is not only stored in the FFN network but also in the attention layers. This provides experimental support for future relation-based knowledge editing methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)における事実知識の修正のための知識編集(KE)が注目されている。 しかし、既存の知識編集手法はエンティティ中心であり、このアプローチが関係中心の観点に適しているかどうかは不明である。 このギャップに対処するため,本稿では,関係ベースの知識編集に焦点を当てたrakeという新しいベンチマークを構築した。 本稿では,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを確立する。 既存の知識編集手法は、関係を編集する能力において潜在的な困難を示す。 そこで本研究では, 変圧器内の実物三重項における関係性の役割をさらに探求する。 本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。 これは、将来の関係に基づく知識編集方法に対する実験的サポートを提供する。

関連論文リスト

• Towards Unified Multimodal Editing with Enhanced Knowledge Collaboration [107.31481207855835]
  内在的知識の編集や外部知識の活用といった現在の手法は、それぞれに長所と短所がある。 固有知識編集と外部知識を活用した統一的な視点を確立するための,新しいマルチモーダル編集手法UniKEを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:13:53Z)
• Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models [15.698183471185066]
  自己回帰変換言語モデル(LM)における事実関連の記憶とリコールが注目されている。 ほとんどの編集作業は、主に主題知識に焦点を当てた既存の知識リコールの解釈の指導の下で知識編集を行う。 本研究では,トランスフォーマーLMの知識リコールを推論中に解釈し,過度な一般化を避けるために知識編集に適用する,新たな関係性に着目した視点を見いだす。
  論文  参考訳（メタデータ） (2024-08-27T14:22:02Z)
• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。 新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。 知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。