論文の概要: Orthogonal Representation Editing: Decoupling Semantic Entanglement in Batch Knowledge Editing of LLMs

• arxiv url: http://arxiv.org/abs/2606.22627v1
• Date: Sun, 21 Jun 2026 18:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:16:19.620657
• Title: Orthogonal Representation Editing: Decoupling Semantic Entanglement in Batch Knowledge Editing of LLMs
• Title（参考訳）: 直交表現編集:LLMのバッチ知識編集における意味的絡み合いの分離
• Authors: Wenhao Yu, Zhicong Lu, Bo Lv, Fangyin Ma, Kaiwen Wei, Shihao Yang, Nayu Liu,
• Abstract要約: 知識編集は、大規模な言語モデル(LLM)における事実情報を、完全なリトレーニングなしで効率的に更新することを目的としている。 既存の手法はまだバッチ知識編集のパフォーマンス低下に悩まされている。 LLMの隠れ表現空間で編集を行うOrthogonal Representation Editing (ORE)を提案する。
• 参考スコア（独自算出の注目度）: 38.268937785139855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to efficiently update factual information in Large Language Models (LLMs) without full retraining. However, existing methods still suffer from performance degradation in batch knowledge editing. We identify that semantic representation entanglement, such as overlapping concepts and shared syntactic patterns, accumulates interference in the representation space and reduces editing precision. To bridge this gap, in this paper, we propose Orthogonal Representation Editing (ORE), which performs edits in the hidden representation space of LLMs by constructing a general semantic subspace and enforcing orthogonal constraints on edit vectors, effectively decoupling semantic entanglement. Furthermore, we introduce a gated non-linear representation head to enable adaptive learning of editing locations and precise control over knowledge injection. Extensive experiments show that ORE outperforms existing methods and achieves superior performance in cross-lingual knowledge editing scenarios. We release our code at https://github.com/YVVH/ORE.
• Abstract（参考訳）: 知識編集は、大規模な言語モデル(LLM)における事実情報を、完全なリトレーニングなしで効率的に更新することを目的としている。 しかし,既存の手法はバッチ知識編集の性能低下に悩まされている。 重なり合う概念や共有構文パターンといった意味表現の絡み合いは、表現空間に干渉を蓄積し、編集精度を低下させる。 このギャップを埋めるために,本論文では,汎用意味空間を構築し,編集ベクトルの直交制約を強制することにより,LLMの隠れ表現空間で編集を行うOrthogonal Representation Editing (ORE)を提案する。 さらに,編集位置の適応学習と知識注入の精密制御を可能にするゲート非線形表現ヘッドを導入する。 大規模な実験により、OREは既存の手法より優れており、言語間知識編集のシナリオにおいて優れた性能を発揮することが示された。 コードをhttps://github.com/YVVH/OREでリリースします。

関連論文リスト

• DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing [1.6830191160943109]
  生涯の編集は難しい作業であり、これまで学んだ概念を乱す傾向がある。 現在の手法では、知識を構造的に分離するのではなく、最適化によって編集をアルゴリズムで制御している。 本稿では,この制限を緩和する動的部分空間概念アライメント(DSCA)を提案する。 本手法は,1回の編集で98%,1000回の編集後に95%以上,幻覚を3～5%,連続的なチューニングチューニングベンチマークで最高の後方転送(BWT)スコアが得られた。
  論文  参考訳（メタデータ） (2026-04-09T08:25:54Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [86.17245523439514]
  In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
  論文  参考訳（メタデータ） (2025-05-28T09:20:18Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。