論文の概要: FAME: Towards Factual Multi-Task Model Editing

• arxiv url: http://arxiv.org/abs/2410.10859v2
• Date: Fri, 18 Oct 2024 10:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:23:19.886806
• Title: FAME: Towards Factual Multi-Task Model Editing
• Title（参考訳）: FAME:Factual Multi-Task Model Editingを目指して
• Authors: Li Zeng, Yingyu Shan, Zeming Liu, Jiashu Yao, Yuhang Guo,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
• 参考スコア（独自算出の注目度）: 4.858226284963096
• License:
• Abstract: Large language models (LLMs) embed extensive knowledge and utilize it to perform exceptionally well across various tasks. Nevertheless, outdated knowledge or factual errors within LLMs can lead to misleading or incorrect responses, causing significant issues in practical applications. To rectify the fatal flaw without the necessity for costly model retraining, various model editing approaches have been proposed to correct inaccurate knowledge within LLMs in a cost-efficient way. To evaluate these model editing methods, previous work introduced a series of datasets. However, most of the previous datasets only contain fabricated data in a single format, which diverges from real-world model editing scenarios, raising doubts about their usability in practice. To facilitate the application of model editing in real-world scenarios, we propose the challenge of practicality. To resolve such challenges and effectively enhance the capabilities of LLMs, we present FAME, an factual, comprehensive, and multi-task dataset, which is designed to enhance the practicality of model editing. We then propose SKEME, a model editing method that uses a novel caching mechanism to ensure synchronization with the real world. The experiments demonstrate that SKEME performs excellently across various tasks and scenarios, confirming its practicality.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 それでも、LLM内の古い知識や事実の誤りは、誤った反応や誤った反応を招き、実用的な応用において重大な問題を引き起こす可能性がある。 モデル再訓練を必要とせずに致命的な欠陥を是正するために,LLM内の不正確な知識を低コストで補正する様々なモデル編集手法が提案されている。 これらのモデル編集手法を評価するために、以前の研究は一連のデータセットを導入した。 しかし、以前のデータセットのほとんどは単一のフォーマットで作成されたデータしか含まないため、実際のモデル編集シナリオから切り離され、実際のユーザビリティに対する疑念が持ち上がる。 実世界のシナリオにおけるモデル編集の活用を容易にするために,実用性の課題を提案する。 このような課題を解決し、LLMの能力を効果的に強化するために、モデル編集の実用性を高めるために設計された、現実的で包括的でマルチタスクのデータセットであるFAMEを提案する。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。 実験により,SKEMEは様々なタスクやシナリオにおいて優れた性能を示し,実用性を確認した。

関連論文リスト

• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Adversarial Representation Engineering: A General Model Editing Framework for Large Language Models [7.41744853269583]
  本稿では,概念モデル編集のための統一的で解釈可能なアプローチを提供するために,ARE(Adversarial Representation Engineering)フレームワークを提案する。 複数のタスクの実験は、様々なモデル編集シナリオにおけるAREの有効性を示す。
  論文  参考訳（メタデータ） (2024-04-21T19:24:15Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。