論文の概要: FAME: Towards Factual Multi-Task Model Editing
- arxiv url: http://arxiv.org/abs/2410.10859v1
- Date: Mon, 07 Oct 2024 13:46:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-20 09:11:09.173141
- Title: FAME: Towards Factual Multi-Task Model Editing
- Title(参考訳): FAME:Factual Multi-Task Model Editingを目指して
- Authors: Li Zeng, Yingyu Shan, Zeming Liu, Jiashu Yao, Yuhang Guo,
- Abstract要約: 大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。
提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。
次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
- 参考スコア(独自算出の注目度): 4.858226284963096
- License:
- Abstract: Large language models (LLMs) embed extensive knowledge and utilize it to perform exceptionally well across various tasks. Nevertheless, outdated knowledge or factual errors within LLMs can lead to misleading or incorrect responses, causing significant issues in practical applications. To rectify the fatal flaw without the necessity for costly model retraining, various model editing approaches have been proposed to correct inaccurate knowledge within LLMs in a cost-efficient way. To evaluate these model editing methods, previous work introduced a series of datasets. However, most of the previous datasets only contain fabricated data in a single format, which diverges from real-world model editing scenarios, raising doubts about their usability in practice. To facilitate the application of model editing in real-world scenarios, we propose the challenge of practicality. To resolve such challenges and effectively enhance the capabilities of LLMs, we present FAME, an factual, comprehensive, and multi-task dataset, which is designed to enhance the practicality of model editing. We then propose SKEME, a model editing method that uses a novel caching mechanism to ensure synchronization with the real world. The experiments demonstrate that SKEME performs excellently across various tasks and scenarios, confirming its practicality.
- Abstract(参考訳): 大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。
それでも、LLM内の古い知識や事実の誤りは、誤った反応や誤った反応を招き、実用的な応用において重大な問題を引き起こす可能性がある。
モデル再訓練を必要とせずに致命的な欠陥を是正するために,LLM内の不正確な知識を低コストで補正する様々なモデル編集手法が提案されている。
これらのモデル編集手法を評価するために、以前の研究は一連のデータセットを導入した。
しかし、以前のデータセットのほとんどは単一のフォーマットで作成されたデータしか含まないため、実際のモデル編集シナリオから切り離され、実際のユーザビリティに対する疑念が持ち上がる。
実世界のシナリオにおけるモデル編集の活用を容易にするために,実用性の課題を提案する。
このような課題を解決し、LLMの能力を効果的に強化するために、モデル編集の実用性を高めるために設計された、現実的で包括的でマルチタスクのデータセットであるFAMEを提案する。
次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
実験により,SKEMEは様々なタスクやシナリオにおいて優れた性能を示し,実用性を確認した。
関連論文リスト
- Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。
RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。
さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。
我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
論文 参考訳(メタデータ) (2024-05-06T08:52:11Z) - Towards General Conceptual Model Editing via Adversarial Representation Engineering [7.41744853269583]
本稿では,概念モデル編集のための統一的で解釈可能なアプローチを提供するために,ARE(Adversarial Representation Engineering)フレームワークを提案する。
複数のモデル編集パラダイムの実験は、様々な環境でのAREの有効性を示す。
論文 参考訳(メタデータ) (2024-04-21T19:24:15Z) - Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。
メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
論文 参考訳(メタデータ) (2024-03-08T14:07:44Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。
分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。
これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
論文 参考訳(メタデータ) (2024-01-09T18:03:15Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳(メタデータ) (2023-10-05T09:09:44Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。