論文の概要: When to Adapt: Conditional Memory Adapters for Retention-Preserving Domain Specialization

• arxiv url: http://arxiv.org/abs/2608.29327v1
• Date: Sat, 29 Aug 2026 15:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.925977
• Title: When to Adapt: Conditional Memory Adapters for Retention-Preserving Domain Specialization
• Title（参考訳）: 保持ドメイン特化のための条件記憶アダプタの適応
• Abstract要約: 本稿では,フリーズLDMのためのポストホックアダプタとして,事前学習時の条件記憶を再利用するフレームワークであるEngram Adapterを提案する。 局所的なn-gramパターンに対するマルチチャネルマッチングと、それ以前の軽量な選択性として、明示的な占有率追跡を使用する。 我々はAG-NewsとMedMCQAによるQwen3-4BとQwen3-8Bを、推論、翻訳、コード生成、法的推論にまたがるOODベンチマークとして評価した。
• 参考スコア（独自算出の注目度）: 2.3717692810269586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models deployed in specialized domains must improve in-domain performance without sacrificing general capabilities. Existing parameter-efficient fine-tuning methods are typically always on: their learned perturbations are applied to every input, which can degrade out-of-domain (OOD) performance. We propose Engram Adapter, a framework that repurposes pretraining-time conditional memory as a post-hoc adapter for frozen LLMs. It uses multi-channel matching over local n-gram patterns with explicit occupancy tracking as a lightweight selectivity prior, making residual injection more likely on in-domain inputs while a learned scalar gate suppresses incoherent OOD retrievals. We evaluate on Qwen3-4B and Qwen3-8B with AG-News and MedMCQA as adaptation tasks and OOD benchmarks spanning reasoning, translation, code generation, and legal reasoning. Engram Adapter improves in-domain accuracy while preserving 99.4%--100.1% of average OOD performance; on LegalBench it slightly exceeds the frozen base model on average, whereas comparable always-on baselines degrade sharply. Mechanistic analyses show that although OOD activations are non-zero, gate and projection attenuation reduce residuals to approximately 0.08% of hidden-state norm, yielding small KL drift and negligible accuracy change. These results suggest conditional activation is a promising route toward modular, retention-preserving domain specialization over frozen backbones.
• Abstract（参考訳）: 特殊なドメインにデプロイされる大規模な言語モデルは、一般的な機能を犠牲にすることなく、ドメイン内のパフォーマンスを改善する必要がある。 既存のパラメータ効率の良い微調整方法は、通常常にオンである: 学習された摂動は全ての入力に適用され、ドメイン外性能(OOD)を低下させることができる。 本稿では,フリーズLDMのためのポストホックアダプタとして,事前学習時の条件記憶を再利用するフレームワークであるEngram Adapterを提案する。 局所的なn-gramパターンに対するマルチチャネルマッチングと、明示的な占有追跡を軽量な選択性として使用することにより、学習されたスカラーゲートが不整合OOD検索を抑制する一方で、インメモリ入力に残留注入される可能性が高まる。 我々はAG-NewsとMedMCQAによるQwen3-4BとQwen3-8Bを、推論、翻訳、コード生成、法的推論にまたがるOODベンチマークとして評価した。 Engram Adapterは平均OOD性能の99.4%--100.1%を維持しながらドメイン内の精度を向上させる。 メカニカル分析により、OODの活性化はゼロではないものの、ゲートとプロジェクションの減衰は残余を隠れ状態ノルムの約0.08%まで減少させ、KLのドリフトは小さく、精度は無視できることがわかった。 これらの結果から, 条件付き活性化は, 凍結したバックボーン上での保留ドメインの専門化への有望な経路であることが示唆された。

関連論文リスト

• LCPNet: Latent Consistent Proximal Unfolding Network for Infrared Small Target Detection [50.3892176822492]
  赤外線小目標検出(IRSTD)は、複雑な赤外背景から長距離小目標を特定することを目的としている。 深層学習法は、識別的画像-マスクマッピングを学習することでIRSTDを改善した。 深層展開法は、モデル駆動イテレーションをニューラルネットワークに埋め込むことによって、この問題に部分的に対処する。 これらの制約に対処するために,Latent Consistent Proximal Unfolding Network (LCPNet)を提案する。
  論文  参考訳（メタデータ） (2026-07-06T02:15:09Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
  IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-03-14T06:45:54Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Open-World Test-Time Adaptation with Hierarchical Feature Aggregation and Attention Affine [17.151364853811128]
  テスト時間適応(TTA)とは、サンプル分布の変化に対処するため、テストフェーズ中にモデルを調整することを指す。 本稿では,すべてのトランスフォーマー層に集約されたクラストークンからOOD特徴を抽出する階層ラダーネットワークを提案する。 また、トークン情報に基づく自己認識機構を適応的に洗練し、ドメインのドリフトに適応するアテンションアフィンネットワーク(AAN)を導入する。
  論文  参考訳（メタデータ） (2025-11-16T14:05:23Z)
• Knowledge Regularized Negative Feature Tuning of Vision-Language Models for Out-of-Distribution Detection [54.433899174017185]
  信頼性の高い機械学習モデルを構築するには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 我々はKR-NFT(Knowledge Regularized Negative Feature Tuning)と呼ばれる新しい手法を提案する。 NFTは、事前訓練されたテキスト特徴に分布認識変換を適用し、正および負の特徴を異なる空間に効果的に分離する。 ImageNetデータセットから数発のサンプルをトレーニングすると、KR-NFTはID分類精度とOOD検出を改善するだけでなく、FPR95を5.44%削減する。
  論文  参考訳（メタデータ） (2025-07-26T07:44:04Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection [6.192472816262214]
  機械学習(ML)モデルは、ID(In-distriion)データに基づいてトレーニングされるが、デプロイ中にOOD(out-of-distriion)入力に遭遇することが多い。 最近の研究は、OODの不確実性を定量化するためのスコアリング関数の設計に重点を置いている。 我々は,実世界のOOD入力に基づいて,フライ時のスコアリング機能としきい値の両方を即時更新するヒューマン・イン・ザ・ループ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-05T00:25:14Z)
• Token-Efficient RL for LLM Reasoning [0.02488650627593658]
  本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。 ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。 提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
  論文  参考訳（メタデータ） (2025-04-29T14:58:43Z)
• DisCoPatch: Taming Adversarially-driven Batch Statistics for Improved Out-of-Distribution Detection [11.332987462182713]
  バッチ正規化 (BN) で訓練された敵判別器では、実検体と敵検体は独自のバッチ統計を持つ異なる領域を形成する。 本稿では,この機構を利用した教師なし適応変分自動エンコーダフレームワークであるDisCoPatchを紹介する。 DisCoPatchは、公開OOD検出ベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-01-14T10:49:26Z)
• LLM-BIP: Structured Pruning for Large Language Models with Block-Wise Forward Importance Propagation [0.0]
  ブロック単位の重要スコアの伝搬に基づくより正確なプルーニング指標を提案する。 我々は,LLaMA-7B,Vicuna-7B,LLaMA-13Bを用いて,共通ゼロショットタスクを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-12-09T11:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。