論文の概要: Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing

• arxiv url: http://arxiv.org/abs/2610.02772v1
• Date: Fri, 02 Oct 2026 03:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.202668
• Title: Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing
• Title（参考訳）: 非構造化知識編集における焦点視点によるアトミック・ファクト・リコールの改善
• Abstract要約: 大規模言語モデル(LLM)は事実知識の汎用インターフェースとして機能する傾向にあるが、それらのパラメータは事前訓練後に変化した情報を自動的に反映しない。 本稿では,従来の文脈のキーに割り当てられたロタリー位置埋め込み(RoPE)位置をランダムにシフトすることで,各文の集中ビューを構築するプラグイン・アンド・プレイ・フレームワークFOVEATEDを提案する。 我々は,FOVEatedが文脈による難易度過小評価にどう対処するかを理論的に分析し,KEエディタ5つ,バックボーンLLM2つ,ベンチマーク3つで一貫した改善を実証的に示す。
• 参考スコア（独自算出の注目度）: 8.794026348024977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly serve as general-purpose interfaces to factual knowledge, but their parameters do not automatically reflect information that changes after pretraining. Knowledge editing (KE) provides a targeted alternative to costly retraining by modifying selected knowledge and preserving unrelated knowledge and general capabilities. Conventional KE uses structured factual triples, whereas unstructured KE (UKE) uses free-form passages containing multiple facts. Nonetheless, existing UKE editors exhibit a failure mode known as context reliance: edited LLMs can often reproduce the editing passage but fail to reliably recall its individual facts without the original passage context. We identify context-induced difficulty underestimation under the standard passage-level editing objective: later facts receive increasingly rich ground-truth context and consequently incur lower initial losses, making them appear easier to learn. In response, we propose FOVEATED, a plug-and-play framework that constructs focused views of each sentence by randomly shifting the Rotary Position Embedding (RoPE) positions assigned to the keys of its preceding context. The perturbation is applied during editing and removed afterward, leaving the model's native positional encoding unchanged at inference time. We instantiate FOVEATED for both direct-optimization and locate-then-edit editors. We theoretically analyze how FOVEATED counteracts context-induced difficulty underestimation and empirically demonstrate consistent improvements across five KE editors, two LLM backbones, and three benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は事実知識の汎用インターフェースとして機能する傾向にあるが、それらのパラメータは事前訓練後に変化した情報を自動的に反映しない。 知識編集(KE)は、選択した知識を変更し、無関係な知識と一般的な能力を保存することによって、コストのかかる訓練の代替手段を提供する。 従来のKEは構造化されたファクトトリプルを使用するが、非構造化のKE(UKE)は複数のファクトを含むフリーフォームパスを使用する。 編集されたLLMは、しばしば編集文を再現するが、元の文節コンテキストなしでは、個々の事実を確実に思い出すことができない。 コンテクストによって引き起こされる難易度を、標準パスレベルの編集目標の下で認識する: 後続の事実は、よりリッチな地味な文脈を受け取り、その結果、初期損失を減らし、学習しやすくする。 そこで本研究では,従来の文脈のキーに割り当てられたRotary Position Embedding (RoPE) 位置をランダムにシフトすることで,各文の集中的なビューを構築するプラグイン・アンド・プレイ・フレームワークFOVEATEDを提案する。 摂動は編集中に適用され、その後取り除かれ、モデルのネイティブな位置エンコーディングは推論時に変化しない。 直接最適化と位置編集の両方のためにFOVEEDをインスタンス化する。 我々は,FOVEatedが文脈による難易度過小評価にどう対処するかを理論的に分析し,KEエディタ5つ,LDMバックボーン2つ,ベンチマーク3つで一貫した改善を実証的に示す。

関連論文リスト

• Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing [29.04093718139423]
  大規模言語モデル(LLM)は、自然言語タスク全体にわたって顕著なパフォーマンスを達成するが、静的コーパスで訓練される。 これは知識編集(KE)のモチベーションであり、無関係な知識を変更せずにLLM内の特定の知識を更新する。 最近の研究は構造化知識から構造化されていないKE(UKE)へと移行し、編集は複数の事実を同時に記述する自由形式の通路である。 我々はHPSEを提案する。HPSEは、欠落した事実を生徒自身の軌道に配置するハイブリッドなロールアウトを構築する。
  論文  参考訳（メタデータ） (2026-08-12T05:06:39Z)
• Learning to Edit Knowledge via Instruction-based Chain-of-Thought Prompting [18.981986320960754]
  大規模言語モデル(LLM)は知識編集によって時代遅れの情報を効果的に処理することができる。 現在のアプローチでは、モデルを効果的に活用して実用的な問題を解決することなく、厳格に新しい知識を注入している。 我々は、思考の連鎖(CoT)推論を通して知識を編集するLLMを教える新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-04-07T07:38:25Z)
• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• SAKE: Towards Editing Auditory Attribute Knowledge of Large Audio-Language Models [96.81401797908835]
  SAKEは、大規模オーディオ言語モデルにおける聴覚属性知識の編集に特化して設計された最初のベンチマークである。 我々は,信頼性,汎用性,音声/テキストの局所性,可搬性という4次元の2つのLALMに対して,7つの編集手法をベンチマークした。 結果は、編集とは無関係な属性内知識の保存、マルチモーダル推論への編集の一般化、シーケンシャルな更新の下での編集の維持といった課題を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-10-19T16:22:09Z)
• Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models [15.698183471185066]
  自己回帰変換言語モデル(LM)における事実関連の記憶とリコールが注目されている。 ほとんどの編集作業は、主に主題知識に焦点を当てた既存の知識リコールの解釈の指導の下で知識編集を行う。 本研究では,トランスフォーマーLMの知識リコールを推論中に解釈し,過度な一般化を避けるために単一知識編集に適用する,新たな関係性に着目した視点を見いだす。
  論文  参考訳（メタデータ） (2024-08-27T14:22:02Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。