論文の概要: Confine to the Task, Anchor the Rest: Concept-Guided Retention Regularizer for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.17713v1
• Date: Tue, 13 Oct 2026 04:40:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:35:21.271467
• Title: Confine to the Task, Anchor the Rest: Concept-Guided Retention Regularizer for Parameter-Efficient Fine-Tuning
• Title（参考訳）: タスクにこだわり、残りをアンカーする:パラメータ効率の良いファインチューニングのための概念ガイド型保持正規化器
• Abstract要約: コンセプトガイドリテンション (Concept-Guided Retention, CGR) は、任意のPEFTベースに制約を課すプラグイン・アンド・プレイのレギュレータである。 CLIPビジョンパネルでは、CGRは各ベースに対して同等の精度で保持性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 5.098673555866266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has been widely used, yet the adapted model suffers catastrophic forgetting of pre-trained knowledge. While most existing work hardens the adapter by constraining where the weight update may lie, we note that constraining this weight channel does not constrain the activation channel. In this paper, we propose Concept-Guided Retention (CGR), a plug-and-play regularizer that constrains both for any PEFT base. CGR reads a frozen sparse autoencoder (SAE) and treats two disjoint concept sets differently. It softly confines the update to the task-concept subspace (via weight channel), and anchors a selected set of general-purpose concepts to the frozen model (via activation channel). We also provide anchor value bounds based on weight updates to understand how they interact, and show that both terms are necessary. On a CLIP vision panel, CGR significantly improves retention at comparable accuracy for every base, and the same pattern holds for world-knowledge retention under Llama-3.1-8B instruction tuning. Because the protected directions are named SAE concepts, CGR remains inspectable and controllable.
• Abstract（参考訳）: パラメータ効率細調整(PEFT)は広く用いられているが、適応モデルは事前訓練された知識を破滅的に忘れてしまう。 ほとんどの既存の作業は、重み更新がどこにあるのかを制約することでアダプタを強化しますが、この重みチャネルの制約はアクティベーションチャネルを制約しない点に注意が必要です。 本稿では,任意のPEFTベースに制約を課すプラグイン・アンド・プレイ・レギュレータであるConcept-Guided Retention (CGR)を提案する。 CGRは凍結したスパースオートエンコーダ(SAE)を読み出し、2つの解離した概念を別々に扱う。 タスク概念のサブスペースへの更新(ウェイトチャネル経由)をソフトに制限し、(アクティベーションチャネル経由)凍結モデルに選択された汎用概念のセットをアンカーする。 また、ウェイト更新に基づくアンカー値バウンダリも提供し、それらがどのように相互作用するかを理解し、どちらの用語も必要であることを示します。 CLIPビジョンパネルでは、CGRは各ベースに対して同等の精度で保持を著しく改善し、Llama-3.1-8B命令チューニングの下では、同じパターンがワールド知識の保持を保持できる。 保護された方向はSAE概念と呼ばれるため、CGRは検査可能であり、制御可能である。

関連論文リスト

• Behavioral Capacity Certificates for Quantized Language Models [18.639735118389186]
  行動能力証明書(BCC)は、完全な実装の前の総量を用いて行動に課金する。 BCCは3段階のデプロイメントワークフローをサポートします。
  論文  参考訳（メタデータ） (2026-09-29T15:55:30Z)
• Knowledge-Geometry Decoupling: Refreshable Pretrained Transfer for Streaming Recommendation [29.47478593926429]
  産業レコメンデーターは、プレトレイン-Then-Transferパラダイムをますます採用している。 行動分布のドリフトは、行動シーケンスから何を学ぶか、学習した知識を伝達するかという2つの疑問を提起する。 我々はこれらの問題を解決するために知識幾何学デカップリング(KGD)を提案する。
  論文  参考訳（メタデータ） (2026-08-03T18:00:05Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• Understanding and Enforcing Weight Disentanglement in Task Arithmetic [72.17785699918092]
  私たちは、異なるタスクに異なる内部機能を割り当てるモデルの機能であるTask-Feature(TFS)を紹介します。 そこで我々はOrthoRegを提案する。OrthoRegはシンプルで効果的な正規化手法で、内部構造を重みに積極的に適用する。
  論文  参考訳（メタデータ） (2026-04-18T17:34:56Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Non-Interfering Weight Fields: Treating Model Parameters as a Continuously Extensible Function [0.0]
  大規模言語モデルは、すべての学習した知識を1つの固定重みベクトルに格納する。 破滅的な忘れ物として知られるこの制限は、何十年にもわたって原則化された解決策に抵抗してきた。 本稿では,不干渉重みフィールド(Non-Interfering Weight Fields)を提案する。これは固定重みパラダイムを,需要に応じて重み設定を生成する学習関数に置き換えるフレームワークである。
  論文  参考訳（メタデータ） (2026-02-20T21:43:26Z)
• Understanding and Exploiting Weight Update Sparsity for Communication-Efficient Distributed RL [16.40150726450328]
  帯域幅に制約のある分散環境では,100倍(14 GBから108 MB)の通信削減を実現している。 本研究は,重み付け時空間の段階的および多段階的粒度に関する系統的研究である。 アップデートの間隔は一貫して高く、実際に関係のある設定で99%を超えることがよくあります。
  論文  参考訳（メタデータ） (2026-02-03T18:56:48Z)
• GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
  GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。 適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。 複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
  論文  参考訳（メタデータ） (2025-11-15T17:55:47Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。