論文の概要: DocMEdit: Towards Document-Level Model Editing

• arxiv url: http://arxiv.org/abs/2505.19572v1
• Date: Mon, 26 May 2025 06:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.219817
• Title: DocMEdit: Towards Document-Level Model Editing
• Title（参考訳）: DocMEdit: ドキュメントレベルのモデル編集を目指す
• Authors: Li Zeng, Zeming Liu, Chong Feng, Heyan Huang, Yuhang Guo,
• Abstract要約: 文書レベルのモデル編集に焦点を当てたデータセットである benchmarkname を導入する。 その結果,文書レベルのモデル編集の難しさは,既存のモデル編集手法に課題をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 38.97953188421146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing aims to correct errors and outdated knowledge in the Large language models (LLMs) with minimal cost. Prior research has proposed a variety of datasets to assess the effectiveness of these model editing methods. However, most existing datasets only require models to output short phrases or sentences, overlooks the widespread existence of document-level tasks in the real world, raising doubts about their practical usability. Aimed at addressing this limitation and promoting the application of model editing in real-world scenarios, we propose the task of document-level model editing. To tackle such challenges and enhance model capabilities in practical settings, we introduce \benchmarkname, a dataset focused on document-level model editing, characterized by document-level inputs and outputs, extrapolative, and multiple facts within a single edit. We propose a series of evaluation metrics and experiments. The results show that the difficulties in document-level model editing pose challenges for existing model editing methods.
• Abstract（参考訳）: モデル編集は、Large Language Model (LLM) におけるエラーと時代遅れの知識を最小限のコストで修正することを目的としている。 従来の研究では、これらのモデル編集手法の有効性を評価するために、さまざまなデータセットが提案されている。 しかし、既存のデータセットの多くは、短いフレーズや文を出力するモデルしか必要とせず、実際の世界でドキュメントレベルのタスクが広く存在しているのを見落とし、それらの実用的ユーザビリティに関する疑念を提起している。 この制限に対処し、実世界のシナリオにおけるモデル編集の適用を促進することを目的として、文書レベルのモデル編集の課題を提案する。 このような課題に対処し、実用的な設定でモデル機能を強化するために、文書レベルのモデル編集に焦点を当てたデータセットである \benchmarknameを導入し、文書レベルのインプットとアウトプット、外挿、複数の事実を1つの編集で表現する。 我々は,一連の評価指標と実験を提案する。 その結果,文書レベルのモデル編集の難しさは,既存のモデル編集手法に課題をもたらすことがわかった。

関連論文リスト

• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  質問応答アプリケーションにおけるモデル編集の有効性について検討する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりも大幅に悪化していることが示された。 本分析は,既存のモデル編集手法の現実的適用性と評価手法の両面について,基礎的な再検討を行うものである。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• Reasons and Solutions for the Decline in Model Performance after Editing [17.756172082400163]
  本稿では,編集モデルの性能低下の原因を考察し,編集方法を最適化する。 編集モデルの性能は、主に編集対象とシーケンス長の多様性に左右される。 本稿では,編集モデルの性能向上のために,Dump for Sequence (D4S) 法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T11:49:44Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• Neuron-Level Sequential Editing for Large Language Models [19.324852774144752]
  シーケンシャルモデル編集をサポートするための textbfNeuron レベルの textbfSequential textbfEditing (NSE) を導入する。 具体的には、モデルが失敗するのを防ぐために、モデルの最初の重みを使ってターゲット層の隠蔽状態を最適化する。 実験の結果、NSEは現在の修正パラメーターモデル編集法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-10-05T05:52:22Z)
• Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs? [61.68363765350178]
  本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。 まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。 次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
  論文  参考訳（メタデータ） (2024-06-27T17:33:03Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• DUnE: Dataset for Unified Editing [3.7346004746366384]
  自然言語文を編集するDUnE-an編集ベンチマークを導入する。 検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:56:14Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。