論文の概要: UniEdit: A Unified Knowledge Editing Benchmark for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.12345v1
• Date: Sun, 18 May 2025 10:19:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.177835
• Title: UniEdit: A Unified Knowledge Editing Benchmark for Large Language Models
• Title（参考訳）: UniEdit: 大規模言語モデルのベンチマークを統一した知識編集
• Authors: Qizhou Chen, Dakan Wang, Taolin Zhang, Zaoming Yan, Chengsong You, Chengyu Wang, Xiaofeng He,
• Abstract要約: オープンドメイン知識に基づく大規模言語モデル(LLM)編集のための統一ベンチマークであるUniEditを紹介する。 まず,5つのカテゴリにまたがる25の共通領域からエンティティを選択することで,サンプルを編集する。 編集における一般性や局所性の問題に対処するため,我々はNorborhood Multi-hop Chain Smpling (NMCS)アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 16.546605509744015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing aims to enhance the accuracy and reliability of large language models (LLMs) by efficiently adjusting their internal parameters. Currently, most LLM editing datasets are confined to narrow knowledge domains and cover a limited range of editing evaluation. They often overlook the broad scope of editing demands and the diversity of ripple effects resulting from edits. In this context, we introduce UniEdit, a unified benchmark for LLM editing grounded in open-domain knowledge. First, we construct editing samples by selecting entities from 25 common domains across five major categories, utilizing the extensive triple knowledge available in open-domain knowledge graphs to ensure comprehensive coverage of the knowledge domains. To address the issues of generality and locality in editing, we design an Neighborhood Multi-hop Chain Sampling (NMCS) algorithm to sample subgraphs based on a given knowledge piece to entail comprehensive ripple effects to evaluate. Finally, we employ proprietary LLMs to convert the sampled knowledge subgraphs into natural language text, guaranteeing grammatical accuracy and syntactical diversity. Extensive statistical analysis confirms the scale, comprehensiveness, and diversity of our UniEdit benchmark. We conduct comprehensive experiments across multiple LLMs and editors, analyzing their performance to highlight strengths and weaknesses in editing across open knowledge domains and various evaluation criteria, thereby offering valuable insights for future research endeavors.
• Abstract（参考訳）: モデル編集は、内部パラメータを効率的に調整することで、大きな言語モデル(LLM)の精度と信頼性を高めることを目的としている。 現在、ほとんどのLLM編集データセットは限られた知識領域に限定されており、限られた範囲の編集評価をカバーしている。 彼らはしばしば、編集要求の幅広い範囲と編集によるリップル効果の多様性を見落としている。 この文脈では、オープンドメイン知識に基づくLLM編集のための統一ベンチマークであるUniEditを紹介する。 まず、オープンドメインの知識グラフで利用可能な3つの知識を利用して、25の共通ドメインから5つの主要なカテゴリにまたがるエンティティを選択することで、編集サンプルを構築し、知識ドメインの包括的カバレッジを確保する。 編集における一般性や局所性の問題に対処するため,NMCS(Neighborhood Multi-hop Chain Smpling)アルゴリズムを設計し,与えられた知識片に基づいてサブグラフをサンプリングし,総合的なリップル効果を伴って評価を行う。 最後に、サンプル化された知識グラフを自然言語テキストに変換し、文法的精度と構文的多様性を保証するために、独自のLLMを用いる。 大規模な統計分析により、UniEditベンチマークのスケール、包括性、多様性が確認されます。 我々は,複数のLLMおよび編集者を対象とした総合的な実験を行い,その性能を分析し,オープン知識領域における編集の長所と短所を明らかにする。

関連論文リスト

• ComprehendEdit: A Comprehensive Dataset and Evaluation Framework for Multimodal Knowledge Editing [27.034072044001736]
  大規模マルチモーダル言語モデル(MLLM)は、自然言語処理と視覚的理解に革命をもたらした。 現在の知識編集評価はスコープが限られており、バイアスがある可能性がある。 複数のデータセットから8つのタスクからなる総合的なベンチマークであるComprehendEditを紹介する。
  論文  参考訳（メタデータ） (2024-12-17T11:41:49Z)
• Visual-Oriented Fine-Grained Knowledge Editing for MultiModal Large Language Models [22.26930296101678]
  既存の知識編集は、主にテキスト指向で粗いシナリオに焦点を当てている。 本稿では,複数の対話型エンティティを持つ画像の正確な編集をターゲットとした,視覚指向できめ細かなマルチモーダル知識編集タスクを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:49:36Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• Knowledge Editing on Black-box Large Language Models [37.17131278142237]
  知識編集は、大きな言語モデル(LLM)の振る舞いを効率的に正確に修正し、特定の知識を更新することを目的としている。 現在の研究は、主にホワイトボックスのLLM編集に焦点を当てており、重要なシナリオであるブラックボックスのLLM編集を見下ろしている。 ブラックボックスLLMにKEを導入し,既存の評価の限界を克服するための総合評価フレームワークを提案する。 2つのベンチマークの実験と分析は、 PostEditがすべてのベースラインを上回り、強力な一般化を実現することを示した。
  論文  参考訳（メタデータ） (2024-02-13T17:59:34Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。