論文の概要: UniEdit: A Unified Knowledge Editing Benchmark for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.12345v2
• Date: Fri, 23 May 2025 10:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 13:31:15.761749
• Title: UniEdit: A Unified Knowledge Editing Benchmark for Large Language Models
• Title（参考訳）: UniEdit: 大規模言語モデルのベンチマークを統一した知識編集
• Authors: Qizhou Chen, Dakan Wang, Taolin Zhang, Zaoming Yan, Chengsong You, Chengyu Wang, Xiaofeng He,
• Abstract要約: オープンドメイン知識に基づく大規模言語モデル(LLM)編集のための統一ベンチマークであるUniEditを紹介する。 まず,5つのカテゴリにまたがる25の共通領域からエンティティを選択することで,サンプルを編集する。 編集における一般性や局所性の問題に対処するため,我々はNorborhood Multi-hop Chain Smpling (NMCS)アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 16.546605509744015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing aims to enhance the accuracy and reliability of large language models (LLMs) by efficiently adjusting their internal parameters. Currently, most LLM editing datasets are confined to narrow knowledge domains and cover a limited range of editing evaluation. They often overlook the broad scope of editing demands and the diversity of ripple effects resulting from edits. In this context, we introduce UniEdit, a unified benchmark for LLM editing grounded in open-domain knowledge. First, we construct editing samples by selecting entities from 25 common domains across five major categories, utilizing the extensive triple knowledge available in open-domain knowledge graphs to ensure comprehensive coverage of the knowledge domains. To address the issues of generality and locality in editing, we design an Neighborhood Multi-hop Chain Sampling (NMCS) algorithm to sample subgraphs based on a given knowledge piece to entail comprehensive ripple effects to evaluate. Finally, we employ proprietary LLMs to convert the sampled knowledge subgraphs into natural language text, guaranteeing grammatical accuracy and syntactical diversity. Extensive statistical analysis confirms the scale, comprehensiveness, and diversity of our UniEdit benchmark. We conduct comprehensive experiments across multiple LLMs and editors, analyzing their performance to highlight strengths and weaknesses in editing across open knowledge domains and various evaluation criteria, thereby offering valuable insights for future research endeavors.
• Abstract（参考訳）: モデル編集は、内部パラメータを効率的に調整することで、大きな言語モデル(LLM)の精度と信頼性を高めることを目的としている。 現在、ほとんどのLLM編集データセットは限られた知識領域に限定されており、限られた範囲の編集評価をカバーしている。 彼らはしばしば、編集要求の幅広い範囲と編集によるリップル効果の多様性を見落としている。 この文脈では、オープンドメイン知識に基づくLLM編集のための統一ベンチマークであるUniEditを紹介する。 まず、オープンドメインの知識グラフで利用可能な3つの知識を利用して、25の共通ドメインから5つの主要なカテゴリにまたがるエンティティを選択することで、編集サンプルを構築し、知識ドメインの包括的カバレッジを確保する。 編集における一般性や局所性の問題に対処するため,NMCS(Neighborhood Multi-hop Chain Smpling)アルゴリズムを設計し,与えられた知識片に基づいてサブグラフをサンプリングし,総合的なリップル効果を伴って評価を行う。 最後に、サンプル化された知識グラフを自然言語テキストに変換し、文法的精度と構文的多様性を保証するために、独自のLLMを用いる。 大規模な統計分析により、UniEditベンチマークのスケール、包括性、多様性が確認されます。 我々は,複数のLLMおよび編集者を対象とした総合的な実験を行い,その性能を分析し,オープン知識領域における編集の長所と短所を明らかにする。

関連論文リスト

• Latent Knowledge Scalpel: Precise and Massive Knowledge Editing for Large Language Models [3.834827405473377]
  大規模言語モデル(LLM)は、しばしば事前学習から不正確な情報や時代遅れの情報を保持し、推論中に誤った予測や偏りのある出力をもたらす。 我々はLLMエディタであるLatent Knowledge Scalpel(LKS)を紹介し、軽量なハイパーネットワークを用いて特定のエンティティの潜在知識を操作し、正確かつ大規模な編集を可能にする。 Llama-2とMistralで行った実験では、同時編集数が10,000に達したとしても、LKSは編集されたLLMの一般的な能力を保ちながら知識編集を効果的に行う。
  論文  参考訳（メタデータ） (2025-08-01T03:51:43Z)
• CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models [4.190739522901791]
  大規模言語モデル(LLM)は、事実的リコールと一般的な推論において強い性能を示すが、ユーザ固有の常識知識に適応するのに苦労する。 我々は、ローカル化されたパーソナライズされたコモンセンス知識編集を評価するための新しいデータセットと生成パイプラインであるCaseEditを紹介する。 以上の結果から,AlphaEditのような効果的な編集技術を用いたCaseEditを使用することで,小型モデルで高品質で文脈に敏感な常識知識を内部化することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-26T00:54:04Z)
• Editing Across Languages: A Survey of Multilingual Knowledge Editing [16.700978644147572]
  この調査は、MKE(Multilingual Knowledge Editing)に関する最近の研究を体系化する。 MKEは、事実編集が言語全体にわたって確実に一般化されることを保証することに焦点を当てたモデル編集のサブドメインである。 本稿では,パラメータベース,メモリベース,微調整,ハイパーネットワークアプローチを網羅したMKE手法の包括的分類法を提案する。
  論文  参考訳（メタデータ） (2025-05-20T14:13:04Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• ComprehendEdit: A Comprehensive Dataset and Evaluation Framework for Multimodal Knowledge Editing [27.034072044001736]
  大規模マルチモーダル言語モデル(MLLM)は、自然言語処理と視覚的理解に革命をもたらした。 現在の知識編集評価はスコープが限られており、バイアスがある可能性がある。 複数のデータセットから8つのタスクからなる総合的なベンチマークであるComprehendEditを紹介する。
  論文  参考訳（メタデータ） (2024-12-17T11:41:49Z)
• Visual-Oriented Fine-Grained Knowledge Editing for MultiModal Large Language Models [22.26930296101678]
  既存の知識編集は、主にテキスト指向で粗いシナリオに焦点を当てている。 本稿では,複数の対話型エンティティを持つ画像の正確な編集をターゲットとした,視覚指向できめ細かなマルチモーダル知識編集タスクを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:49:36Z)
• Instruction-Guided Editing Controls for Images and Multimedia: A Survey in LLM era [50.19334853510935]
  命令ベースの編集の最近の進歩は、ユーザ意図と複雑な編集操作の間の橋渡しとして自然言語を用いて、視覚コンテンツとの直感的な対話を可能にしている。 我々は,エンターテイメントから教育に至るまで,様々な産業において強力なビジュアル編集を民主化することを目指している。
  論文  参考訳（メタデータ） (2024-11-15T05:18:15Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• Cross-Lingual Multi-Hop Knowledge Editing [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• Knowledge Editing on Black-box Large Language Models [37.17131278142237]
  知識編集は、大きな言語モデル(LLM)の振る舞いを効率的に正確に修正し、特定の知識を更新することを目的としている。 現在の研究は、主にホワイトボックスのLLM編集に焦点を当てており、重要なシナリオであるブラックボックスのLLM編集を見下ろしている。 ブラックボックスLLMにKEを導入し,既存の評価の限界を克服するための総合評価フレームワークを提案する。 2つのベンチマークの実験と分析は、 PostEditがすべてのベースラインを上回り、強力な一般化を実現することを示した。
  論文  参考訳（メタデータ） (2024-02-13T17:59:34Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。