論文の概要: Long-form evaluation of model editing

• arxiv url: http://arxiv.org/abs/2402.09394v2
• Date: Fri, 29 Mar 2024 21:17:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 14:04:28.431692
• Title: Long-form evaluation of model editing
• Title（参考訳）: モデル編集の長期的評価
• Authors: Domenic Rosati, Robie Gonzales, Jinkun Chen, Xuemin Yu, Melis Erkan, Yahya Kayani, Satya Deepika Chavatapalli, Frank Rudzicz, Hassan Sajjad,
• Abstract要約: 本稿では,モデル編集の有効性と効果を評価する新しい評価プロトコルであるLEME(Long-form Evaluation of Model Editor)について紹介する。 いくつかの手法(ROMEとMEMIT)は、限られた範囲内で一貫した編集を行うのによく機能するが、他の方法よりも現実的なドリフトに悩まされている。
• 参考スコア（独自算出の注目度）: 21.554925686287735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluations of model editing currently only use the `next few token' completions after a prompt. As a result, the impact of these methods on longer natural language generation is largely unknown. We introduce long-form evaluation of model editing (LEME) a novel evaluation protocol that measures the efficacy and impact of model editing in long-form generative settings. Our protocol consists of a machine-rated survey and a classifier which correlates well with human ratings. Importantly, we find that our protocol has very little relationship with previous short-form metrics (despite being designed to extend efficacy, generalization, locality, and portability into a long-form setting), indicating that our method introduces a novel set of dimensions for understanding model editing methods. Using this protocol, we benchmark a number of model editing techniques and present several findings including that, while some methods (ROME and MEMIT) perform well in making consistent edits within a limited scope, they suffer much more from factual drift than other methods. Finally, we present a qualitative analysis that illustrates common failure modes in long-form generative settings including internal consistency, lexical cohesion, and locality issues.
• Abstract（参考訳）: モデル編集の評価は現在、プロンプトの後に 'next few token' 完了しか使用していない。 その結果、これらの手法が長大な自然言語生成に与える影響はほとんど分かっていない。 本稿では,モデル編集の有効性と効果を評価する新しい評価プロトコルであるLEME(Long-form Evaluation of Model Editor)について紹介する。 我々のプロトコルは,人間の評価とよく相関する,機械評価調査と分類器から構成される。 重要なことは、我々のプロトコルは、有効性、一般化、局所性、ポータビリティを長期設定に拡張するために設計されているにもかかわらず、以前のショートフォームメトリクスとはほとんど関係がないことを示し、モデル編集方法を理解するための新しい次元を導入したことを示す。 本プロトコルを用いて,多数のモデル編集手法をベンチマークし,いくつかの手法(ROMEとMEMIT)が一定の範囲内で一貫した編集を行うのに対して,他の手法よりも現実的なドリフトに悩まされていることを示す。 最後に, 内部整合性, 語彙結合性, 局所性問題を含む, 長期的生成環境における共通障害モードを定性的に解析する。

関連論文リスト

• Should We Really Edit Language Models? On the Evaluation of Edited Language Models [15.63231238452797]
  既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T14:36:48Z)
• Forgetting Curve: A Reliable Method for Evaluating Memorization Capability for Long-context Models [58.6172667880028]
  長文モデルの暗記能力を測定するために,左折曲線と呼ばれる新しい手法を提案する。 テストコーパスと実験環境に頑健であることの利点を, 忘れる曲線は有益であることを示す。 本測定は,RNN/SSMモデルの有効性を疑問視しながら,トランスフォーマー拡張手法の有効性を示す実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-07T03:38:27Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
  CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。 メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
  論文  参考訳（メタデータ） (2024-03-08T14:07:44Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• Model Editing at Scale leads to Gradual and Catastrophic Forgetting [2.569159339315845]
  本稿では,ROMEとMEMITの2つの手法に焦点をあてて,現在のモデル編集手法を大規模に評価する。 モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-15T03:57:15Z)
• Edit at your own risk: evaluating the robustness of edited models to distribution shifts [0.0]
  モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。 編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は編集アルゴリズムと選択した層に依存している。 これらの観測によって動機付けられた新しいモデル編集アルゴリズムである1-層 (1-LI) を導入し、重み空間を用いて編集タスクの精度と一般的なロバスト性の間のトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2023-02-28T19:41:37Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)
• Pros and Cons of GAN Evaluation Measures: New Developments [53.10151901863263]
  この作品は、数年前に発表された同じトピックに関する以前の論文の更新です。 モデル評価において重要になっている新しい次元について述べ、GAN評価とディープフェイクの関係について論じる。
  論文  参考訳（メタデータ） (2021-03-17T01:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。