論文の概要: HyperEdit: Unlocking Instruction-based Text Editing in LLMs via Hypernetworks
- arxiv url: http://arxiv.org/abs/2512.12544v1
- Date: Sun, 14 Dec 2025 04:28:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.304964
- Title: HyperEdit: Unlocking Instruction-based Text Editing in LLMs via Hypernetworks
- Title(参考訳): HyperEdit: Hypernetworks経由でLLMでインストラクションベースのテキスト編集をアンロックする
- Authors: Yiming Zeng, Jinghan Cao, Zexin Li, Wanhao Yu, Zhankai Ye, Dawei Xiang, Ting Hua, Xin Liu, Shangqian Gao, Tingting Yu,
- Abstract要約: 本稿では,要求固有パラメータを生成するハイパーネットワークに基づく動的適応手法を提案する。
我々は、修正されたスパンの監督に焦点を合わせ、過剰な編集を防ぐ差分認識正規化を開発する。
HyperEditは、最先端のベースラインに対して修正されたリージョン上でのBLEUの相対的な改善を9%--30%達成している。
- 参考スコア(独自算出の注目度): 19.648438719273024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction-based text editing is increasingly critical for real-world applications such as code editors (e.g., Cursor), but Large Language Models (LLMs) continue to struggle with this task. Unlike free-form generation, editing requires faithfully implementing user instructions while preserving unchanged content, as even minor unintended modifications can break functionality. Existing approaches treat editing as generic text generation, leading to two key failures: they struggle to faithfully align edits with diverse user intents, and they often over-edit unchanged regions. We propose HyperEdit to address both issues. First, we introduce hypernetwork-based dynamic adaptation that generates request-specific parameters, enabling the model to tailor its editing strategy to each instruction. Second, we develop difference-aware regularization that focuses supervision on modified spans, preventing over-editing while ensuring precise, minimal changes. HyperEdit achieves a 9%--30% relative improvement in BLEU on modified regions over state-of-the-art baselines, despite utilizing only 3B parameters.
- Abstract(参考訳): インストラクションベースのテキスト編集は、コードエディタ(例えばCursor)のような現実世界のアプリケーションではますます重要になっている。
フリーフォーム生成とは異なり、編集は、意図しない小さな修正でさえ機能を損なう可能性があるため、変更のないコンテンツを保存しながら、ユーザー命令を忠実に実装する必要がある。
既存のアプローチでは、編集をジェネリックテキスト生成として扱うため、2つの重要な障害が発生する。
両問題に対処するため,HyperEditを提案する。
まず、要求固有のパラメータを生成するハイパーネットワークベースの動的適応を導入し、モデルが各命令に対して編集戦略を調整できるようにする。
第2に、修正スパンの監督に重点を置く差分認識正規化を開発し、オーバー編集を防止し、正確かつ最小限の変更を確実にする。
HyperEditは、3Bパラメータしか利用していないにも関わらず、最先端のベースラインに対して修正された領域でのBLEUの相対的な改善を9%--30%達成している。
関連論文リスト
- EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing [19.834477925624658]
大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。
既存のアプローチは主に位置対応のフレームワークに基づいている。
本稿では,連続的なヌル空間アライメントによる破滅的干渉を緩和する新しい編集戦略であるEvoEditを紹介する。
論文 参考訳(メタデータ) (2025-10-11T21:36:14Z) - MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。
MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
論文 参考訳(メタデータ) (2025-06-09T16:16:42Z) - Bridging the Editing Gap in LLMs: FineEdit for Precise and Targeted Text Modifications [4.751608548909266]
FineEditは、コンテキスト対応のテキスト修正のために明示的に訓練された特殊な編集モデルである。
FineEditはシングルターン編集で最先端のモデルより優れており、Llama-3.2-3Bより30%も上回り、Mistral-7B-OpenOrcaのパフォーマンスを40%以上上回っている。
論文 参考訳(メタデータ) (2025-02-19T01:41:44Z) - K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。
我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
論文 参考訳(メタデータ) (2025-02-15T01:35:13Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Learning Structural Edits via Incremental Tree Transformations [102.64394890816178]
構造化データのインクリメンタルな編集(すなわち「構造的編集」)のための汎用モデルを提案する。
我々の編集者は、反復的にツリー編集(例えば、サブツリーの削除や追加)を生成し、部分的に編集されたデータに適用することを学びます。
提案したエディタを2つのソースコード編集データセットで評価した結果,提案する編集エンコーダでは,従来よりも精度が向上していることがわかった。
論文 参考訳(メタデータ) (2021-01-28T16:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。