論文の概要: KEDAS: Knowledge Editing Alignment with Diverse Augmentation and Self-adaptive Inference

• arxiv url: http://arxiv.org/abs/2508.01302v1
• Date: Sat, 02 Aug 2025 10:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.810126
• Title: KEDAS: Knowledge Editing Alignment with Diverse Augmentation and Self-adaptive Inference
• Title（参考訳）: KEDAS:多変量拡張と自己適応推論による知識編集アライメント
• Authors: Chenming Tang, Yutong Yang, Yunfang Wu,
• Abstract要約: 本稿では,大規模言語モデルと知識編集との整合性を高めるために,多言語拡張と自己適応推論(KEDAS)による知識編集アライメントを提案する。 実験では、KEDASは4つのデータセットで36ケース中35ケースで最高パフォーマンススコアを確保している。
• 参考スコア（独自算出の注目度）: 8.634349480743873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to modify outdated knowledge in large language models (LLMs) efficiently while retaining their powerful capabilities. Most existing methods rely on either parameter-level editing or retrieval-based approaches. In this work, we propose Knowledge Editing alignment with Diverse Augmentation and Self-adaptive inference (KEDAS) to better align LLMs with knowledge editing. In the alignment phase, LLMs learn to apply in-context edited knowledge via low-rank adaptation. During editing, we design a diverse edit augmentation technique to improve the recall of edits. After that, a self-adaptive post-alignment inference mechanism is proposed, in which a filter-based smart retriever is employed to perform a dynamic selection of inference routing. Specifically, irrelevant queries will go through the original pre-alignment model directly, while relevant ones, together with their related edits, go through the model with aligned adapters activated. In experiments, KEDAS secures the highest overall performance scores in 35 out of 36 cases across four datasets with three LLMs on three settings, surpassing its strong knowledge editing alignment counterpart by about 19.8 harmonic mean scores of edit success, locality and portability and outperforming both parameter editing and retrieval-based baselines significantly. Analysis of computational cost and performance on general tasks further validates the robustness and efficiency of KEDAS, indicating that it presents an ideal paradigm of knowledge editing alignment.
• Abstract（参考訳）: 知識編集は、大きな言語モデル(LLM)における時代遅れの知識を効率よく修正し、その能力を維持することを目的としている。 既存のほとんどのメソッドはパラメータレベルの編集と検索ベースのアプローチに依存している。 本研究では,LLMと知識編集の整合性を改善するために,多元的拡張と自己適応推論(KEDAS)を用いた知識編集アライメントを提案する。 アライメントフェーズでは、LLMは低ランク適応を通じてコンテキスト内で編集された知識を適用することを学習する。 編集中に、編集のリコールを改善するために、多様な編集拡張テクニックを設計する。 その後、フィルタベースのスマートレトリバーを用いて推論ルーティングを動的に選択する自己適応的なポストアライメント推論機構を提案する。 特に、関係のないクエリは、元の事前調整モデルを直接経由し、関連するクエリは、関連する編集とともに、アライメントアダプタをアクティベートしたモデルを通過します。 実験では、KEDASは4つのデータセットに3つのLSMを持つ36件中35件で最高パフォーマンススコアを確保し、その強い知識編集アライメントを19.8のハーモニック平均スコア、局所性、ポータビリティで上回り、パラメータ編集と検索ベースラインの両方を著しく上回っている。 一般的なタスクにおける計算コストと性能の分析は、KEDASの堅牢性と効率をさらに検証し、知識編集アライメントの理想的なパラダイムを示すことを示す。

関連論文リスト

• SAKE: Towards Editing Auditory Attribute Knowledge of Large Audio-Language Models [96.81401797908835]
  SAKEは、大規模オーディオ言語モデルにおける聴覚属性知識の編集に特化して設計された最初のベンチマークである。 我々は,信頼性,汎用性,音声/テキストの局所性,可搬性という4次元の2つのLALMに対して,7つの編集手法をベンチマークした。 結果は、編集とは無関係な属性内知識の保存、マルチモーダル推論への編集の一般化、シーケンシャルな更新の下での編集の維持といった課題を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-10-19T16:22:09Z)
• STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models [10.320062273796331]
  大規模言語モデルは、大規模な事前訓練中に取得した膨大な事実知識を格納する。 知識編集は、完全に再トレーニングすることなく、時代遅れまたは誤った事実を更新するための有望なソリューションとして登場した。 モデルの知識構造に更新された知識を統合する意味レベルの知識編集フレームワークであるtextscSteamを提案する。
  論文  参考訳（メタデータ） (2025-10-12T01:25:13Z)
• Retention analysis of edited knowledge after fine-tuning [5.1877231178075425]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [77.47790551485721]
  In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
  論文  参考訳（メタデータ） (2025-05-28T09:20:18Z)
• WikiBigEdit: Understanding the Limits of Lifelong Knowledge Editing in LLMs [66.51203413345773]
  我々は、生涯にわたる知識編集の研究を現実の編集に事実上の規模で橋渡しする。 まず,実世界のウィキデータ編集の大規模ベンチマークであるWikiBigEditを紹介した。 最初の例では、知識編集のための500万以上の質問応答ペアが含まれている。
  論文  参考訳（メタデータ） (2025-03-07T18:45:42Z)
• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• ConKE: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning [47.98788315789392]
  ConceptEditは、概念化とインスタンス化をKnowledge Editingパイプラインに統合するフレームワークである。 その結果,コンセプション編集は,他のベースラインに比べて信頼性が向上し,コモンセンスの知識を生み出すことができた。
  論文  参考訳（メタデータ） (2024-12-16T03:34:40Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,多段階推論制約モジュールを導入し,新しい知識をリコールする際のモデルをガイドするLearning the Inference (LTI)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
  本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。 さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。 我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
  論文  参考訳（メタデータ） (2024-05-06T08:52:11Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
  本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。 既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。 このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-09T07:51:56Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。