Fugu-MT 論文翻訳(概要): Reinforced Lifelong Editing for Language Models

論文の概要: Reinforced Lifelong Editing for Language Models

arxiv url: http://arxiv.org/abs/2502.05759v2
Date: Tue, 18 Feb 2025 15:07:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 14:03:18.112044
Title: Reinforced Lifelong Editing for Language Models
Title（参考訳）: 言語モデルのための強化寿命編集
Authors: Zherui Li, Houcheng Jiang, Hao Chen, Baolong Bi, Zhenhong Zhou, Fei Sun, Junfeng Fang, Xiang Wang,
Abstract要約: 大規模言語モデル(LLM)は、事前学習したコーパスから情報を取得するが、その記憶された知識は、時間とともに不正確になるか、時代遅れになる可能性がある。モデル編集は、リトレーニングなしでモデルパラメータを変更することでこの課題に対処する。本稿では,RLに基づく編集手法であるRLEditを提案する。
参考スコア（独自算出の注目度）: 12.101856766731574
License:
Abstract: Large language models (LLMs) acquire information from pre-training corpora, but their stored knowledge can become inaccurate or outdated over time. Model editing addresses this challenge by modifying model parameters without retraining, and prevalent approaches leverage hypernetworks to generate these parameter updates. However, they face significant challenges in lifelong editing due to their incompatibility with LLM parameters that dynamically change during the editing process. To address this, we observed that hypernetwork-based lifelong editing aligns with reinforcement learning modeling and proposed RLEdit, an RL-based editing method. By treating editing losses as rewards and optimizing hypernetwork parameters at the full knowledge sequence level, we enable it to precisely capture LLM changes and generate appropriate parameter updates. Our extensive empirical evaluation across several LLMs demonstrates that RLEdit outperforms existing methods in lifelong editing with superior effectiveness and efficiency, achieving a 59.24% improvement while requiring only 2.11% of the time compared to most approaches. Our code is available at: https://github.com/zhrli324/RLEdit.
Abstract（参考訳）: 大規模言語モデル(LLM)は、事前学習したコーパスから情報を取得するが、その記憶された知識は、時間とともに不正確になるか、時代遅れになる可能性がある。モデル編集は、リトレーニングなしでモデルパラメータを変更することでこの課題に対処する。しかし、編集プロセス中に動的に変化するLCMパラメータと互換性がないため、寿命の長い編集において大きな課題に直面している。これを解決するために,ハイパーネットワークベースの生涯編集が強化学習モデルと整合し,RLベースの編集手法であるRLEditを提案する。編集損失を報酬として扱い,全知識シーケンスレベルでハイパーネットワークパラメータを最適化することにより,LSMの変化を正確に把握し,適切なパラメータ更新を生成することができる。複数のLCMをまたいだ実験的な評価により、RLEditは生涯編集における既存の手法よりも優れた効率と効率で、59.24%の改善を実現し、ほとんどのアプローチと比較して2.11%の時間しか必要としないことがわかった。私たちのコードは、https://github.com/zhrli324/RLEdit.comで利用可能です。

関連論文リスト

O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
論文参考訳（メタデータ） (2024-10-15T10:16:45Z)
Neuron-Level Sequential Editing for Large Language Models [19.324852774144752]
シーケンシャルモデル編集をサポートするための textbfNeuron レベルの textbfSequential textbfEditing (NSE) を導入する。具体的には、モデルが失敗するのを防ぐために、モデルの最初の重みを使ってターゲット層の隠蔽状態を最適化する。実験の結果、NSEは現在の修正パラメーターモデル編集法よりも大幅に優れていた。
論文参考訳（メタデータ） (2024-10-05T05:52:22Z)
Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。下流タスクへのLLM。我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文参考訳（メタデータ） (2024-09-30T10:48:20Z)
ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
論文参考訳（メタデータ） (2024-08-19T02:27:00Z)
Perturbation-Restrained Sequential Model Editing [33.51709226068619]
現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。編集用上層部における摂動抑制フレームワーク(PRUNE)を提案する。 PRUNEは、シーケンシャルモデル編集において、編集性能を効果的に維持しながら、かなりの汎用性を維持できる。
論文参考訳（メタデータ） (2024-05-27T04:40:56Z)
Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
論文参考訳（メタデータ） (2024-05-06T08:52:11Z)
The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文参考訳（メタデータ） (2024-02-15T01:50:38Z)
Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
論文参考訳（メタデータ） (2024-01-09T18:03:15Z)
Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文参考訳（メタデータ） (2023-05-22T16:00:00Z)
Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。