論文の概要: Towards General Conceptual Model Editing via Adversarial Representation Engineering

• arxiv url: http://arxiv.org/abs/2404.13752v1
• Date: Sun, 21 Apr 2024 19:24:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 17:42:20.303068
• Title: Towards General Conceptual Model Editing via Adversarial Representation Engineering
• Title（参考訳）: 逆表現工学による一般概念モデル編集に向けて
• Authors: Yihao Zhang, Zeming Wei, Jun Sun, Meng Sun,
• Abstract要約: 我々は、ARE(Adversarial Representation Engineering)と呼ばれる新しいアプローチを導入する。 AREは、ベースラインのパフォーマンスを劣化させることなく、概念モデル編集のための統一的で解釈可能なフレームワークを提供する。 複数の概念的編集実験により,AREの有効性が確認された。
• 参考スコア（独自算出の注目度）: 7.41744853269583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has introduced Representation Engineering (RepE) as a promising approach for understanding complex inner workings of large-scale models like Large Language Models (LLMs). However, finding practical and efficient methods to apply these representations for general and flexible model editing remains an open problem. Inspired by the Generative Adversarial Network (GAN) framework, we introduce a novel approach called Adversarial Representation Engineering (ARE). This method leverages RepE by using a representation sensor to guide the editing of LLMs, offering a unified and interpretable framework for conceptual model editing without degrading baseline performance. Our experiments on multiple conceptual editing confirm ARE's effectiveness. Code and data are available at https://github.com/Zhang-Yihao/Adversarial-Representation-Engineering.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) のような大規模モデルの複雑な内部構造を理解するために,RepE (Representation Engineering) を導入している。 しかし、これらの表現を汎用的で柔軟なモデル編集に適用するための実用的で効率的な方法を見つけることは、未解決の問題である。 本稿では、GAN(Generative Adversarial Network)フレームワークにヒントを得て、Adversarial Representation Engineering(ARE)と呼ばれる新しいアプローチを導入する。 本手法は,LLMの編集を誘導する表現センサを用いてRepEを活用し,ベースライン性能を劣化させることなく,概念モデル編集のための統一的で解釈可能なフレームワークを提供する。 複数の概念的編集実験により,AREの有効性が確認された。 コードとデータはhttps://github.com/Zhang-Yihao/Adversarial-Representation-Engineering.comで公開されている。

関連論文リスト

• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Resolving Lexical Bias in Edit Scoping with Projector Editor Networks [15.677423638211813]
  PenMEは、対照的な学習目的を通じて訓練されたプロジェクションネットワークを備えたコンパクトなアダプタを利用するモデル編集アプローチである。 我々は,PENMEが優れた結果を得る上で有効でありながら,モデルアーキテクチャ全体に適用可能な計算効率と柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-08-19T20:50:41Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models [91.22477798288003]
  本稿では,命令ベースの画像編集の新しいアプローチであるSmartEditを紹介する。 MLLM(Multimodal Large Language Models)を利用して、その理解と推論能力を強化する。 我々は,より複雑な命令に対して,SmartEditの編集機能を効果的に刺激することのできる,少量の複雑な命令編集データを示す。
  論文  参考訳（メタデータ） (2023-12-11T17:54:11Z)
• DUnE: Dataset for Unified Editing [3.7346004746366384]
  自然言語文を編集するDUnE-an編集ベンチマークを導入する。 検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:56:14Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。