論文の概要: ConKE: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2412.11418v2
- Date: Wed, 28 May 2025 15:14:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 15:04:26.954075
- Title: ConKE: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning
- Title（参考訳）: ConKE:Commonsense Reasoningのための大規模言語モデルにおける概念化強化知識編集
- Authors: Liyu Zhang, Weiqi Wang, Tianqing Fang, Yangqiu Song,
- Abstract要約: ConceptEditは、概念化とインスタンス化をKnowledge Editingパイプラインに統合するフレームワークである。
その結果,コンセプション編集は,他のベースラインに比べて信頼性が向上し,コモンセンスの知識を生み出すことができた。
- 参考スコア（独自算出の注目度）: 47.98788315789392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Editing (KE) aims to adjust a Large Language Model's (LLM) internal representations and parameters to correct inaccuracies and improve output consistency without incurring the computational expense of re-training the entire model. However, editing commonsense knowledge still faces difficulties, including limited knowledge coverage in existing resources, the infeasibility of annotating labels for an overabundance of commonsense knowledge, and the strict knowledge formats of current editing methods. In this paper, we address these challenges by presenting ConceptEdit, a framework that integrates conceptualization and instantiation into the KE pipeline for LLMs to enhance their commonsense reasoning capabilities. ConceptEdit dynamically diagnoses implausible commonsense knowledge within an LLM using another verifier LLM and augments the source knowledge to be edited with conceptualization for stronger generalizability. Experimental results demonstrate that LLMs enhanced with ConceptEdit successfully generate commonsense knowledge with improved plausibility compared to other baselines and achieve stronger performance across multiple question answering benchmarks. Our data, code, and models are publicly available at https://github.com/HKUST-KnowComp/ConKE.
- Abstract（参考訳）: 知識編集(KE)は、大言語モデルの内部表現(LLM)を調整し、不正確性を補正し、モデル全体を再訓練する計算コストを発生させることなく、出力の整合性を改善することを目的としている。
しかし、コモンセンス知識の編集には、既存のリソースの知識範囲が限られていること、コモンセンス知識の過剰な使用のためにラベルをアノテートすることが不可能であること、現在の編集方法の厳密な知識形式など、依然として困難に直面している。
本稿では,LLMのKEパイプラインに概念化とインスタンス化を統合し,コモンセンス推論能力を向上させるフレームワークであるConceptEditを提示することで,これらの課題に対処する。
概念編集(ConceptEdit)は、別の検証器 LLM を用いて、LLM 内の不可解なコモンセンス知識を動的に診断し、より強力な一般化性のために概念化で編集されるソース知識を増強する。
実験の結果,LLMがConceptEditで強化されたことにより,他のベースラインに比べて信頼性が向上し,複数の質問応答ベンチマークにおいて高い性能が得られることがわかった。
私たちのデータ、コード、モデルはhttps://github.com/HKUST-KnowComp/ConKE.comで公開されています。
関連論文リスト
- Latent Knowledge Scalpel: Precise and Massive Knowledge Editing for Large Language Models [3.834827405473377]
大規模言語モデル(LLM)は、しばしば事前学習から不正確な情報や時代遅れの情報を保持し、推論中に誤った予測や偏りのある出力をもたらす。
我々はLLMエディタであるLatent Knowledge Scalpel(LKS)を紹介し、軽量なハイパーネットワークを用いて特定のエンティティの潜在知識を操作し、正確かつ大規模な編集を可能にする。
Llama-2とMistralで行った実験では、同時編集数が10,000に達したとしても、LKSは編集されたLLMの一般的な能力を保ちながら知識編集を効果的に行う。
論文 参考訳（メタデータ） (2025-08-01T03:51:43Z) - Disentangling Knowledge Representations for Large Language Model Editing [38.244171146682206]
我々は,LLM編集のための知識表現を分割する新しいアプローチであるDiKEを提案する。
DiKEは2つの主要なコンポーネントから構成される: 対象表現を対象知識関連および非関連コンポーネントに分解する知識表現(KRD)モジュールと、対象コンポーネントのみを更新する知識編集(DKE)モジュールである。
本研究では, 微粒な無関係知識の保存を厳密に評価するため, FINE-KEDという, 微粒な無関係知識を, 編集された知識と異なるレベルの類似度で構成した新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2025-05-24T16:24:04Z) - AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。
長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。
UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
論文 参考訳（メタデータ） (2025-02-08T16:18:37Z) - Commonsense Knowledge Editing Based on Free-Text in LLMs [23.18079655111236]
本研究では,コモンセンス知識に対応するパラメータ位置を特定するためのDynamics-Aware Moduleを提案し,知識を更新するために知識編集モジュールを用いる。
実験結果から,DEMは優れた編集性能が得られることが示された。
論文 参考訳（メタデータ） (2024-10-31T11:50:24Z) - Towards Unified Multimodal Editing with Enhanced Knowledge Collaboration [107.31481207855835]
内在的知識の編集や外部知識の活用といった現在の手法は、それぞれに長所と短所がある。
固有知識編集と外部知識を活用した統一的な視点を確立するための,新しいマルチモーダル編集手法UniKEを提案する。
論文 参考訳（メタデータ） (2024-09-30T02:13:53Z) - Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳（メタデータ） (2024-03-10T16:57:10Z) - Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。
既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。
知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
論文 参考訳（メタデータ） (2024-02-21T07:52:26Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳（メタデータ） (2024-02-19T07:45:17Z) - DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。
我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。
DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
論文 参考訳（メタデータ） (2024-01-19T03:48:27Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。