論文の概要: Orthogonal Representation Editing: Decoupling Semantic Entanglement in Batch Knowledge Editing of LLMs

• arxiv url: http://arxiv.org/abs/2606.22627v1
• Date: Sun, 21 Jun 2026 18:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:16:19.620657
• Title: Orthogonal Representation Editing: Decoupling Semantic Entanglement in Batch Knowledge Editing of LLMs
• Title（参考訳）: 直交表現編集:LLMのバッチ知識編集における意味的絡み合いの分離
• Abstract要約: 知識編集は、大規模な言語モデル(LLM)における事実情報を、完全なリトレーニングなしで効率的に更新することを目的としている。 既存の手法はまだバッチ知識編集のパフォーマンス低下に悩まされている。 LLMの隠れ表現空間で編集を行うOrthogonal Representation Editing (ORE)を提案する。
• 参考スコア（独自算出の注目度）: 38.268937785139855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to efficiently update factual information in Large Language Models (LLMs) without full retraining. However, existing methods still suffer from performance degradation in batch knowledge editing. We identify that semantic representation entanglement, such as overlapping concepts and shared syntactic patterns, accumulates interference in the representation space and reduces editing precision. To bridge this gap, in this paper, we propose Orthogonal Representation Editing (ORE), which performs edits in the hidden representation space of LLMs by constructing a general semantic subspace and enforcing orthogonal constraints on edit vectors, effectively decoupling semantic entanglement. Furthermore, we introduce a gated non-linear representation head to enable adaptive learning of editing locations and precise control over knowledge injection. Extensive experiments show that ORE outperforms existing methods and achieves superior performance in cross-lingual knowledge editing scenarios. We release our code at https://github.com/YVVH/ORE.
• Abstract（参考訳）: 知識編集は、大規模な言語モデル(LLM)における事実情報を、完全なリトレーニングなしで効率的に更新することを目的としている。 しかし,既存の手法はバッチ知識編集の性能低下に悩まされている。 重なり合う概念や共有構文パターンといった意味表現の絡み合いは、表現空間に干渉を蓄積し、編集精度を低下させる。 このギャップを埋めるために,本論文では,汎用意味空間を構築し,編集ベクトルの直交制約を強制することにより,LLMの隠れ表現空間で編集を行うOrthogonal Representation Editing (ORE)を提案する。 さらに,編集位置の適応学習と知識注入の精密制御を可能にするゲート非線形表現ヘッドを導入する。 大規模な実験により、OREは既存の手法より優れており、言語間知識編集のシナリオにおいて優れた性能を発揮することが示された。 コードをhttps://github.com/YVVH/OREでリリースします。

関連論文リスト

• DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing [1.6830191160943109]
  生涯の編集は難しい作業であり、これまで学んだ概念を乱す傾向がある。 現在の手法では、知識を構造的に分離するのではなく、最適化によって編集をアルゴリズムで制御している。 本稿では,この制限を緩和する動的部分空間概念アライメント(DSCA)を提案する。 本手法は,1回の編集で98%,1000回の編集後に95%以上,幻覚を3～5%,連続的なチューニングチューニングベンチマークで最高の後方転送(BWT)スコアが得られた。
  論文  参考訳（メタデータ） (2026-04-09T08:25:54Z)
• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
  大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
  論文  参考訳（メタデータ） (2025-11-25T22:15:00Z)
• Latent Knowledge Scalpel: Precise and Massive Knowledge Editing for Large Language Models [3.834827405473377]
  大規模言語モデル(LLM)は、しばしば事前学習から不正確な情報や時代遅れの情報を保持し、推論中に誤った予測や偏りのある出力をもたらす。 我々はLLMエディタであるLatent Knowledge Scalpel(LKS)を紹介し、軽量なハイパーネットワークを用いて特定のエンティティの潜在知識を操作し、正確かつ大規模な編集を可能にする。 Llama-2とMistralで行った実験では、同時編集数が10,000に達したとしても、LKSは編集されたLLMの一般的な能力を保ちながら知識編集を効果的に行う。
  論文  参考訳（メタデータ） (2025-08-01T03:51:43Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [86.17245523439514]
  In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
  論文  参考訳（メタデータ） (2025-05-28T09:20:18Z)
• REACT: Representation Extraction And Controllable Tuning to Overcome Overfitting in LLM Knowledge Editing [42.89229070245538]
  本稿では,正確かつ制御可能な知識編集のためのフレームワークであるREACTを紹介する。 最初の段階では、調整された刺激を用いて、潜在的な事実表現を抽出する。 第2段階では,大小スカラーのベクトルを用いて,制御可能な摂動を隠蔽状態に適用する。
  論文  参考訳（メタデータ） (2025-05-25T01:57:06Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• Editing Arbitrary Propositions in LLMs without Subject Labels [88.67755930096966]
  GT(Gradient Tracing)と呼ばれるシンプルで高速なローカライゼーション手法を提案する。 GTは、単にバイナリではなく任意の命題を編集できる。 提案手法は, 対象ラベルにアクセスせずに, 対象ラベルを持つ最先端のL&E手法に近い動作を行うことを示す。
  論文  参考訳（メタデータ） (2024-01-15T08:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。