論文の概要: DocMEdit: Towards Document-Level Model Editing

• arxiv url: http://arxiv.org/abs/2505.19572v1
• Date: Mon, 26 May 2025 06:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.219817
• Title: DocMEdit: Towards Document-Level Model Editing
• Title（参考訳）: DocMEdit: ドキュメントレベルのモデル編集を目指す
• Authors: Li Zeng, Zeming Liu, Chong Feng, Heyan Huang, Yuhang Guo,
• Abstract要約: 文書レベルのモデル編集に焦点を当てたデータセットである benchmarkname を導入する。 その結果,文書レベルのモデル編集の難しさは,既存のモデル編集手法に課題をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 38.97953188421146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing aims to correct errors and outdated knowledge in the Large language models (LLMs) with minimal cost. Prior research has proposed a variety of datasets to assess the effectiveness of these model editing methods. However, most existing datasets only require models to output short phrases or sentences, overlooks the widespread existence of document-level tasks in the real world, raising doubts about their practical usability. Aimed at addressing this limitation and promoting the application of model editing in real-world scenarios, we propose the task of document-level model editing. To tackle such challenges and enhance model capabilities in practical settings, we introduce \benchmarkname, a dataset focused on document-level model editing, characterized by document-level inputs and outputs, extrapolative, and multiple facts within a single edit. We propose a series of evaluation metrics and experiments. The results show that the difficulties in document-level model editing pose challenges for existing model editing methods.
• Abstract（参考訳）: モデル編集は、Large Language Model (LLM) におけるエラーと時代遅れの知識を最小限のコストで修正することを目的としている。 従来の研究では、これらのモデル編集手法の有効性を評価するために、さまざまなデータセットが提案されている。 しかし、既存のデータセットの多くは、短いフレーズや文を出力するモデルしか必要とせず、実際の世界でドキュメントレベルのタスクが広く存在しているのを見落とし、それらの実用的ユーザビリティに関する疑念を提起している。 この制限に対処し、実世界のシナリオにおけるモデル編集の適用を促進することを目的として、文書レベルのモデル編集の課題を提案する。 このような課題に対処し、実用的な設定でモデル機能を強化するために、文書レベルのモデル編集に焦点を当てたデータセットである \benchmarknameを導入し、文書レベルのインプットとアウトプット、外挿、複数の事実を1つの編集で表現する。 我々は,一連の評価指標と実験を提案する。 その結果,文書レベルのモデル編集の難しさは,既存のモデル編集手法に課題をもたらすことがわかった。

関連論文リスト

• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  質問応答アプリケーションにおけるモデル編集の有効性について検討する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりも大幅に悪化していることが示された。 本分析は,既存のモデル編集手法の現実的適用性と評価手法の両面について,基礎的な再検討を行うものである。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。