論文の概要: ConceptEdit: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2412.11418v1
• Date: Mon, 16 Dec 2024 03:34:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:39.133131
• Title: ConceptEdit: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning
• Title（参考訳）: 概念編集:コモンセンス推論のための大規模言語モデルにおける概念化強化知識編集
• Authors: Liyu Zhang, Weiqi Wang, Tianqing Fang, Yangqiu Song,
• Abstract要約: ConceptEditは、概念化とインスタンス化をKnowledge Editingパイプラインに統合するフレームワークである。 その結果,コンセプション編集は,他のベースラインに比べて信頼性が向上し,コモンセンスの知識を生み出すことができた。
• 参考スコア（独自算出の注目度）: 47.98788315789392
• License:
• Abstract: Knowledge Editing (KE) aims to adjust a Large Language Model's (LLM) internal representations and parameters to correct inaccuracies and improve output consistency without incurring the computational expense of re-training the entire model. However, editing commonsense knowledge still faces difficulties, including limited knowledge coverage in existing resources, the infeasibility of annotating labels for an overabundance of commonsense knowledge, and the strict knowledge formats of current editing methods. In this paper, we address these challenges by presenting ConceptEdit, a framework that integrates conceptualization and instantiation into the KE pipeline for LLMs to enhance their commonsense reasoning capabilities. ConceptEdit dynamically diagnoses implausible commonsense knowledge within an LLM using another verifier LLM and augments the source knowledge to be edited with conceptualization for stronger generalizability. Experimental results demonstrate that LLMs enhanced with ConceptEdit successfully generate commonsense knowledge with improved plausibility compared to other baselines and achieve stronger performance across multiple question answering benchmarks.
• Abstract（参考訳）: 知識編集(KE)は、大言語モデルの内部表現(LLM)を調整し、不正確性を補正し、モデル全体を再訓練する計算コストを発生させることなく、出力の整合性を改善することを目的としている。 しかし、コモンセンス知識の編集には、既存のリソースの知識範囲が限られていること、コモンセンス知識の過剰な使用のためにラベルをアノテートすることが不可能であること、現在の編集方法の厳密な知識形式など、依然として困難に直面している。 本稿では,LLMのKEパイプラインに概念化とインスタンス化を統合し,コモンセンス推論能力を向上させるフレームワークであるConceptEditを提示することで,これらの課題に対処する。 概念編集(ConceptEdit)は、別の検証器 LLM を用いて、LLM 内の不可解なコモンセンス知識を動的に診断し、より強力な一般化性のために概念化で編集されるソース知識を増強する。 実験の結果,LLMがConceptEditで強化されたことにより,他のベースラインに比べて信頼性が向上し,複数の質問応答ベンチマークにおいて高い性能が得られることがわかった。

関連論文リスト

• Commonsense Knowledge Editing Based on Free-Text in LLMs [23.18079655111236]
  本研究では,コモンセンス知識に対応するパラメータ位置を特定するためのDynamics-Aware Moduleを提案し,知識を更新するために知識編集モジュールを用いる。 実験結果から,DEMは優れた編集性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-10-31T11:50:24Z)
• Towards Unified Multimodal Editing with Enhanced Knowledge Collaboration [107.31481207855835]
  内在的知識の編集や外部知識の活用といった現在の手法は、それぞれに長所と短所がある。 固有知識編集と外部知識を活用した統一的な視点を確立するための,新しいマルチモーダル編集手法UniKEを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:13:53Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。