論文の概要: Generalizable Multimodal Large Language Model Editing via Invariant Trajectory Learning

• arxiv url: http://arxiv.org/abs/2601.19700v2
• Date: Fri, 30 Jan 2026 09:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 14:22:45.213047
• Title: Generalizable Multimodal Large Language Model Editing via Invariant Trajectory Learning
• Title（参考訳）: 不変軌跡学習による一般化可能な多モーダル大言語モデル編集
• Authors: Jiajie Su, Haoyuan Wang, Xiaohua Feng, Yunshan Ma, Xiaobo Xia, Yuyuan Li, Xiaolin Zheng, Jianmao Xiao, Chaochao Chen,
• Abstract要約: 既存の編集方法は、パラメータやモジュールの変更から出力への厳密なマッピングに依存している。 本稿では,MLLM編集をアウト・オブ・ディストリビューション(OOD)の一般化問題として再検討する。 我々は,編集の信頼性,局所性,汎用性を高めるための,プラグアンドプレイ不変学習ベースのフレームワークODEditを提案する。
• 参考スコア（独自算出の注目度）: 46.514554089834554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing emerges as a crucial technique for efficiently correcting incorrect or outdated knowledge in large language models (LLM). Existing editing methods rely on a rigid mapping from parameter or module modifications to output, which causes the generalization limitation in Multimodal LLM (MLLM). In this paper, we reformulate MLLM editing as an out-of-distribution (OOD) generalization problem, where the goal is to discern semantic shift with factual shift and thus achieve robust editing among diverse cross-modal prompting. The key challenge of this OOD problem lies in identifying invariant causal trajectories that generalize accurately while suppressing spurious correlations. To address it, we propose ODEdit, a plug-and-play invariant learning based framework that optimizes the tripartite OOD risk objective to simultaneously enhance editing reliability, locality, and generality.We further introduce an edit trajectory invariant learning method, which integrates a total variation penalty into the risk minimization objective to stabilize edit trajectories against environmental variations. Theoretical analysis and extensive experiments demonstrate the effectiveness of ODEdit.
• Abstract（参考訳）: 知識編集は、大規模言語モデル(LLM)において、誤りまたは時代遅れの知識を効率的に修正する重要な手法として出現する。 既存の編集手法は、パラメータやモジュールの変更から出力への厳密なマッピングに依存しており、MLLM(Multimodal LLM)の一般化制限の原因となっている。 本稿では,MLLM の編集を外部配布(OOD)一般化問題として再定義し,その目的は,意味変化と事実シフトを区別し,多種多様なモーダルプロンプト間の堅牢な編集を実現することである。 このOOD問題の鍵となる課題は、スプリアス相関を抑えながら正確に一般化する不変因果軌道を同定することである。 そこで我々は, 3部構成のOODリスク目標を最適化し, 編集信頼性, 局所性, 一般性を同時に向上するプラグイン・アンド・プレイの不変学習ベースのフレームワークODEditを提案し, さらに, 全体的な変動ペナルティをリスク最小化の対象に統合し, 環境変動に対する編集トラジェクトリを安定化する編集トラジェクトリ不変学習手法を提案する。 理論的解析と広範な実験によりODEditの有効性が示された。

関連論文リスト

• InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [86.17245523439514]
  In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
  論文  参考訳（メタデータ） (2025-05-28T09:20:18Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,多段階推論制約モジュールを導入し,新しい知識をリコールする際のモデルをガイドするLearning the Inference (LTI)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
  大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-05T07:47:34Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。