論文の概要: Learn Here, Move Less Elsewhere: Input-Conditioned Plasticity from Retained-Domain Activation Atlases

• arxiv url: http://arxiv.org/abs/2609.34478v1
• Date: Mon, 28 Sep 2026 07:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:14:08.39836
• Title: Learn Here, Move Less Elsewhere: Input-Conditioned Plasticity from Retained-Domain Activation Atlases
• Title（参考訳）: 可塑性は、保持されたドメインの活性化アトラスから得られる。
• Abstract要約: ATLASは保持ドメイン表現をタスク適応のための入力依存ルールに変換する。 Qwen3-8Bでは、ATLASは7つのベースライン全てよりも低い平均出力のクルバック・リーブラー分岐を達成する。
• 参考スコア（独自算出の注目度）: 11.936645965216364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-specific fine-tuning can rewrite a language model's answers beyond the training task, complicating updates that must preserve existing behavior. We introduce ATLAS, which turns retained-domain representations into an input-dependent rule for task adaptation. An activation atlas supplies local reference centers and directional filters to a shared low-rank residual. Target supervision learns the residual, while retained geometry shapes its action throughout training and inference. On Qwen3-8B, ATLAS achieves lower mean retained-output Kullback-Leibler (KL) divergence than all seven published baselines at shared coding-performance requirements, with consistent advantages across multiple training seeds. Structural comparisons identify the contributions of retained reference states and directional conditioning, and answer-level analyses show fewer rewritten mathematical answers and more stable commonsense choices. Experiments spanning five backbones and two retained domains further demonstrate coding gains with reduced retained-output movement. With compact storage and modest decoding overhead, ATLAS provides a practical mechanism for acquiring specialized skills while maintaining continuity in existing responses.
• Abstract（参考訳）: タスク固有の微調整は、トレーニングタスクを超えて言語モデルの回答を書き換えることができ、既存の振る舞いを保存する必要がある更新を複雑化する。 本稿では、保持領域表現をタスク適応のための入力依存ルールに変換するATLASを紹介する。 アクティベーションアトラスは、ローカル参照センタと方向フィルタを共有低ランク残差に供給する。 目標監督は残余を学習するが、幾何は訓練と推論を通してその行動を形作る。 Qwen3-8Bでは、ATLASは、共有符号化性能要求で発行された7つのベースラインすべてよりも低い平均出力のKL(Kullback-Leibler)分散を実現し、複数のトレーニングシードに対して一貫したアドバンテージを実現している。 構造的比較は、保持された参照状態と方向性条件付けの寄与を識別し、回答レベルの分析では、書き直された数学的回答が少なく、より安定したコモンセンスの選択が示される。 5つのバックボーンと2つの保持ドメインにまたがる実験は、継続出力運動の減少を伴うコーディングゲインをさらに実証する。 ATLASは、コンパクトなストレージと控えめなデコードオーバーヘッドにより、既存の応答の連続性を維持しながら、専門スキルを取得するための実践的なメカニズムを提供する。

関連論文リスト

• KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation [67.23448686598414]
  事前学習された視覚言語モデルの継続的な学習には、3つの競合する目標のバランスが必要である。 本稿では,2次元知識保持機構を統一したKeepLoRA++を提案する。
  論文  参考訳（メタデータ） (2026-06-15T05:57:59Z)
• GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution [5.770893169582546]
  この研究は、属性をサブセットレベルの反事実的ユーティリティ予測として再定義する。 相互作用を意識したサロゲートであるGRASPを紹介する。 それは、既存のスケーラブルなベースラインを決定的に上回る。
  論文  参考訳（メタデータ） (2026-06-05T04:17:50Z)
• ATLAS: Agentic or Latent Visual Reasoning? One Word is Enough for Both [55.182037225013836]
  ATLASは、単一の独立した「ワード」を機能トークンと呼び、エージェント操作と潜在視覚推論ユニットの両方として機能するフレームワークである。 ATLASは、明確な解釈可能性を維持しながら、挑戦的なベンチマークで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T17:59:55Z)
• Cross-Sample Relational Fusion: Unifying Domain Generalization and Class-Incremental Learning [83.67663266193308]
  CIL(Class-Incremental Learning)は、学習システムにおいて、それまでの知識を維持しつつ、新しいクラスを学ぶことを必要とする。 自動運転車のような現実のシナリオでは、晴れた日に都市部の道路で訓練されたシステムは、後に農村部や高速道路環境で運用する必要がある。 ドメインシフトと破滅的な忘れを同時に解決する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-09T09:49:13Z)
• ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
  大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。 本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
  論文  参考訳（メタデータ） (2026-01-05T15:58:08Z)
• RICO: Two Realistic Benchmarks and an In-Depth Analysis for Incremental Learning in Object Detection [54.194199777900934]
  インクリメンタルラーニング(IL)は、完全なリトレーニングなしで、プライバシ、効率、スケーラビリティを提供する新しいデータ上で、逐次モデルをトレーニングする。 ドメイン RICO (D-RICO) は固定クラスセットでドメインシフトを特徴とし、拡張クラス RICO (EC-RICO) はILステップ毎に新しいドメインとクラスを統合する。 実験の結果,全てのILメソッドは適応性や保持性に劣るものの,前回の少量のデータ再生は全メソッドを上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-08-19T14:42:19Z)
• Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [32.124078616314144]
  非典型的なクラス インクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスク インクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。 本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T13:01:33Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。