論文の概要: Adversarial Representation Engineering: A General Model Editing Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2404.13752v3
• Date: Fri, 01 Nov 2024 07:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:51.807022
• Title: Adversarial Representation Engineering: A General Model Editing Framework for Large Language Models
• Title（参考訳）: 逆表現工学:大規模言語モデルのための汎用モデル編集フレームワーク
• Authors: Yihao Zhang, Zeming Wei, Jun Sun, Meng Sun,
• Abstract要約: 本稿では,概念モデル編集のための統一的で解釈可能なアプローチを提供するために,ARE(Adversarial Representation Engineering)フレームワークを提案する。 複数のタスクの実験は、様々なモデル編集シナリオにおけるAREの有効性を示す。
• 参考スコア（独自算出の注目度）: 7.41744853269583
• License:
• Abstract: Since the rapid development of Large Language Models (LLMs) has achieved remarkable success, understanding and rectifying their internal complex mechanisms has become an urgent issue. Recent research has attempted to interpret their behaviors through the lens of inner representation. However, developing practical and efficient methods for applying these representations for general and flexible model editing remains challenging. In this work, we explore how to leverage insights from representation engineering to guide the editing of LLMs by deploying a representation sensor as an editing oracle. We first identify the importance of a robust and reliable sensor during editing, then propose an Adversarial Representation Engineering (ARE) framework to provide a unified and interpretable approach for conceptual model editing without compromising baseline performance. Experiments on multiple tasks demonstrate the effectiveness of ARE in various model editing scenarios. Our code and data are available at https://github.com/Zhang-Yihao/Adversarial-Representation-Engineering.
• Abstract（参考訳）: LLM(Large Language Models)の急速な開発が目覚ましい成功を収めたため、その内部の複雑なメカニズムの理解と修正が急務となっている。 最近の研究は、内部表現のレンズを通してそれらの振る舞いを解釈しようと試みている。 しかし,これらの表現を汎用的かつ柔軟なモデル編集に適用するための実用的で効率的な手法の開発はいまだに困難である。 本研究では,表現工学からの洞察を活用して,表現センサを編集用オラクルとして配置することにより,LLMの編集をガイドする方法を検討する。 そこで我々はまず,編集における堅牢で信頼性の高いセンサの重要性を特定し,ベースライン性能を損なうことなく,概念モデル編集に統一的かつ解釈可能なアプローチを提供するAdversarial Representation Engineering (ARE) フレームワークを提案する。 複数のタスクの実験は、様々なモデル編集シナリオにおけるAREの有効性を示す。 私たちのコードとデータはhttps://github.com/Zhang-Yihao/Adversarial-Representation-Engineering.comで公開されています。

関連論文リスト

• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Resolving Lexical Bias in Edit Scoping with Projector Editor Networks [15.677423638211813]
  PenMEは、対照的な学習目的を通じて訓練されたプロジェクションネットワークを備えたコンパクトなアダプタを利用するモデル編集アプローチである。 我々は,PENMEが優れた結果を得る上で有効でありながら,モデルアーキテクチャ全体に適用可能な計算効率と柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-08-19T20:50:41Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models [91.22477798288003]
  本稿では,命令ベースの画像編集の新しいアプローチであるSmartEditを紹介する。 MLLM(Multimodal Large Language Models)を利用して、その理解と推論能力を強化する。 我々は,より複雑な命令に対して,SmartEditの編集機能を効果的に刺激することのできる,少量の複雑な命令編集データを示す。
  論文  参考訳（メタデータ） (2023-12-11T17:54:11Z)
• DUnE: Dataset for Unified Editing [3.7346004746366384]
  自然言語文を編集するDUnE-an編集ベンチマークを導入する。 検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:56:14Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。