論文の概要: Resolving Lexical Bias in Model Editing

• arxiv url: http://arxiv.org/abs/2408.10411v3
• Date: Wed, 28 May 2025 18:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:32.503484
• Title: Resolving Lexical Bias in Model Editing
• Title（参考訳）: モデル編集における語彙バイアスの解消
• Authors: Hammad Rizwan, Domenic Rosati, Ga Wu, Hassan Sajjad,
• Abstract要約: 本稿では,編集の正確な局所化を容易にする不整合表現空間を学習するための原則的アプローチを提案する。 提案手法は,従来の手法よりも推論時の計算効率が良く,最先端のモデル編集結果が得られる。
• 参考スコア（独自算出の注目度）: 15.677423638211813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing aims to modify the outputs of large language models after they are trained. Previous approaches have often involved direct alterations to model weights, which can result in model degradation. Recent techniques avoid making modifications to the model's weights by using an adapter that applies edits to the model when triggered by semantic similarity in the representation space. We demonstrate that current adapter methods are critically vulnerable to strong lexical biases, leading to issues such as applying edits to irrelevant prompts with overlapping words. This paper presents a principled approach to learning a disentangled representation space that facilitates precise localization of edits by maintaining distance between irrelevant prompts while preserving proximity among paraphrases. In our empirical study, we show that our method (Projector Editor Networks for Model Editing - PENME) achieves state-of-the-art model editing results while being more computationally efficient during inference than previous methods and adaptable across different architectures.
• Abstract（参考訳）: モデル編集は、訓練後に大きな言語モデルの出力を変更することを目的としている。 それまでのアプローチは、しばしばモデルウェイトへの直接的な変更を伴い、モデル劣化を引き起こすことがある。 近年の手法では,表現空間における意味的類似性によってモデルに編集を施すアダプタを用いることで,モデルの重みの変更を回避している。 現在のアダプタ手法は強い語彙バイアスに対して極めて脆弱であることを示し、重複する単語で無関係なプロンプトに編集を適用するなどの問題を引き起こす。 本稿では,無関係なプロンプト間の距離を保ちながら,パラフレーズ間の近さを保ちながら編集の正確な位置決めを容易にする,不整合表現空間の学習方法を提案する。 本研究では,提案手法(Productor Editor Networks for Model Editing - PENME)が,従来の手法よりも高速で,異なるアーキテクチャで適用可能であることを示す。

関連論文リスト

• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  質問応答アプリケーションにおけるモデル編集の有効性について検討する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりも大幅に悪化していることが示された。 本分析は,既存のモデル編集手法の現実的適用性と評価手法の両面について,基礎的な再検討を行うものである。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Adversarial Representation Engineering: A General Model Editing Framework for Large Language Models [7.41744853269583]
  本稿では,概念モデル編集のための統一的で解釈可能なアプローチを提供するために,ARE(Adversarial Representation Engineering)フレームワークを提案する。 複数のタスクの実験は、様々なモデル編集シナリオにおけるAREの有効性を示す。
  論文  参考訳（メタデータ） (2024-04-21T19:24:15Z)
• Decomposing and Editing Predictions by Modeling Model Computation [75.37535202884463]
  コンポーネントモデリングというタスクを導入します。 コンポーネントモデリングの目標は、MLモデルの予測をコンポーネントの観点から分解することだ。 コンポーネント属性を推定するスケーラブルなアルゴリズムであるCOARを提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:28:08Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
  本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。 我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。 我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
  論文  参考訳（メタデータ） (2024-01-04T18:59:24Z)
• Edit at your own risk: evaluating the robustness of edited models to distribution shifts [0.0]
  モデル編集がモデルの一般的なロバスト性や、編集対象の特定の動作のロバスト性にどのように影響するかを検討する。 編集は一般的な堅牢性を低下させる傾向があるが、劣化の程度は編集アルゴリズムと選択した層に依存している。 これらの観測によって動機付けられた新しいモデル編集アルゴリズムである1-層 (1-LI) を導入し、重み空間を用いて編集タスクの精度と一般的なロバスト性の間のトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2023-02-28T19:41:37Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)
• End-to-End Visual Editing with a Generatively Pre-Trained Artist [78.5922562526874]
  対象画像編集の問題として、ソース画像内の領域と、所望の変更を指定したドライバ画像とをブレンドすることを考える。 対象領域のオフザシェルフ画像を拡大することにより編集をシミュレートする自己教師型アプローチを提案する。 我々は、モデルアーキテクチャに他の変更を加えることなく、拡張プロセスの直感的な制御によって異なるブレンディング効果が学習できることを示します。
  論文  参考訳（メタデータ） (2022-05-03T17:59:30Z)
• A Structural Model for Contextual Code Changes [20.185486717922615]
  部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。 提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
  論文  参考訳（メタデータ） (2020-05-27T07:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。