論文の概要: InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing

• arxiv url: http://arxiv.org/abs/2505.22156v1
• Date: Wed, 28 May 2025 09:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.53108
• Title: InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing
• Title（参考訳）: InComeS:効率的なモデル編集のための圧縮機構と選択機構をLCMに統合する
• Authors: Shuaiyi Li, Zhisong Zhang, Yang Deng, Chenlong Deng, Tianqing Fang, Hongming Zhang, Haitao Mi, Dong Yu, Wai Lam,
• Abstract要約: In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。 この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。 編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
• 参考スコア（独自算出の注目度）: 77.47790551485721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although existing model editing methods perform well in recalling exact edit facts, they often struggle in complex scenarios that require deeper semantic understanding rather than mere knowledge regurgitation. Leveraging the strong contextual reasoning abilities of large language models (LLMs), in-context learning (ICL) becomes a promising editing method by comprehending edit information through context encoding. However, this method is constrained by the limited context window of LLMs, leading to degraded performance and efficiency as the number of edits increases. To overcome this limitation, we propose InComeS, a flexible framework that enhances LLMs' ability to process editing contexts through explicit compression and selection mechanisms. Specifically, InComeS compresses each editing context into the key-value (KV) cache of a special gist token, enabling efficient handling of multiple edits without being restricted by the model's context window. Furthermore, specialized cross-attention modules are added to dynamically select the most relevant information from the gist pools, enabling adaptive and effective utilization of edit information. We conduct experiments on diverse model editing benchmarks with various editing formats, and the results demonstrate the effectiveness and efficiency of our method.
• Abstract（参考訳）: 既存のモデル編集手法は正確な編集事実を思い出すのによく機能するが、知識の復活よりも深い意味理解を必要とする複雑なシナリオに苦しむことが多い。 大規模言語モデル(LLM)の強い文脈推論能力を活用することで、文脈符号化による編集情報を解釈することで、ICL(In-context Learning)が有望な編集方法となる。 しかし、この手法はLLMの限られたコンテキストウィンドウによって制約され、編集数が増加するにつれて性能と効率が低下する。 この制限を克服するために、明示的な圧縮と選択機構を通じて編集コンテキストを処理するLLMの能力を高めるフレキシブルなフレームワークInComeSを提案する。 具体的には、InComeSは各編集コンテキストを特別なgistトークンのキー値(KV)キャッシュに圧縮し、モデルのコンテキストウィンドウに制限されずに複数の編集の効率的な処理を可能にする。 さらに、gistプールから最も関連性の高い情報を動的に選択するために、特別なクロスアテンションモジュールを追加し、編集情報の適応的かつ効果的な利用を可能にする。 各種編集形式を用いた多種多様なモデル編集ベンチマーク実験を行い,本手法の有効性と有効性を示した。

関連論文リスト

• MIND-Edit: MLLM Insight-Driven Editing via Language-Vision Projection [13.467269066605452]
  MLLMと事前学習拡散モデルを組み合わせたエンドツーエンド画像編集フレームワークであるMIND-Editを提案する。 MIND-Editは,(1)MLLMからの意味的推論に基づく曖昧なユーザ指示を明確化するテキスト命令最適化戦略,(2)MLLMの本質的な視覚的理解能力を明示的に活用して編集意図を推測するMLLM洞察駆動型編集戦略,の2つの補完戦略を導入している。 大規模な実験により、MIND-Editは、特に複雑で困難なシナリオにおいて、定量的メトリクスと視覚的品質の両方において、最先端の画像編集方法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-25T13:54:31Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• MELO: Enhancing Model Editing with Neuron-Indexed Dynamic LoRA [34.21194537887934]
  ニューロンインデクシング動的LoRA(MELO)に基づくプラグインモデル編集手法を提案する。 提案するMELOは,3つの逐次編集タスクにおける最先端の編集性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T02:11:01Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。