論文の概要: TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models

• arxiv url: http://arxiv.org/abs/2606.06902v1
• Date: Fri, 05 Jun 2026 04:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.56809
• Title: TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models
• Title（参考訳）: TALAN:大規模言語モデルの学習後ターゲット化のためのタスク指向遅延適応ネットワーク
• Authors: Chengkai Zhang, Ziteng Liu, Junpu Wang, Zeyi Tao, Yang Wang, Sagar Chordia, Qin Huang,
• Abstract要約: 本稿では, TALAN (Task-Aligned Latent Adaptation Networks) を導入する。 TALANはアクティブシーケンスを潜在メモリに圧縮し、トークンレベルの摂動にリミックスし、制御された残留更新を通じて書き戻す。 4つのQwen3ファミリーのバックボーンと4つのSTEM/コードベンチマークで、TALANは一致したLoRAとDoRAベースラインを改善している。
• 参考スコア（独自算出の注目度）: 8.47008876232157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Targeted post-training aims to improve reasoning, math, and code without degrading strengths. Low-rank adapters are efficient but task-global; activation interventions are input-aware but often require separate probes, vectors, or inference-time steering. We introduce TALAN (Task-Aligned Latent Adaptation Networks), a sequence-conditioned latent side path inserted into a transformer's residual stream and co-trained with a low-rank adapter in one SFT loop. TALAN compresses the active sequence into latent memory, remixes it into token-level perturbations, and writes them back through a controlled residual update. It is configured along six axes: insertion location, memory size, mixer, writeback rule, trainability scope, and gradient scale. Across four Qwen3-family backbones and four STEM/code benchmarks, TALAN improves matched LoRA and DoRA baselines. With LoRA, it yields a +1.41 point cross-model mean gain, positive on all four backbones and non-negative on all 16 model-benchmark cells. With DoRA, it yields a +1.85 point mean gain, positive on all backbones and on 13 of 16 cells. Paired seed checks support positive average effects but show nontrivial variance, so we treat them as sensitivity checks. Cost is small: <1% trainable parameters relative to the backbone and 1.01-1.02x inference overhead versus matched LoRA. A Llama-3.2-1B transfer probe is also positive under LoRA and rsLoRA across seven paired seeds, supporting a transfer beyond Qwen. Internal-state analyses suggest TALAN is a small complementary activation intervention. The matched adapter update is 80-1,700x larger than the TALAN perturbation, yet their directions have near-zero cosine; per-layer measurements show this small orthogonal perturbation propagates and amplifies through depth. TALAN offers a practical platform for studying steerable activation-level adaptation within standard adapter-based post-training.
• Abstract（参考訳）: トレーニング後のターゲットは,推論や数学,コードの改善を,強みを損なうことなく目標とする。 アクティベーションの介入は入力対応だが、しばしば別個のプローブ、ベクトル、推論時ステアリングを必要とする。 TALAN(Task-Aligned Latent Adaptation Networks)は,変圧器の残差ストリームにシーケンス条件付き遅延側経路を挿入し,低ランクアダプタを1つのSFTループで同時学習する手法である。 TALANはアクティブシーケンスを潜在メモリに圧縮し、トークンレベルの摂動にリミックスし、制御された残留更新を通じて書き戻す。 挿入位置、メモリサイズ、ミキサー、書き込みルール、トレーニング可能性スコープ、勾配スケールの6つの軸に沿って構成されている。 4つのQwen3ファミリーのバックボーンと4つのSTEM/コードベンチマークで、TALANは一致したLoRAとDoRAベースラインを改善している。 LoRAでは、+1.41点のクロスモデル平均ゲインが得られ、4つのバックボーン全てに陽性、16のモデルベンチマーク細胞に非陰性となる。 DoRAでは、平均利得が+1.85で、すべての背骨と16細胞中13細胞に陽性となる。 Paired seed checks support positive average effect but show nontrivial variance, we treated them as sensitivity checks。 コストは小さい: <1%のトレーニング可能なパラメータがバックボーンに対して、1.01-1.02xの推論オーバーヘッドがLoRAにマッチする。 Llama-3.2-1B転送プローブは、7つのペアの種子にまたがるLoRAとrsLoRAの下でも陽性であり、Qwenを超える転送をサポートする。 内部分析では、TALANは小さな補体活性化の介入であることが示された。 一致したアダプタの更新はTALANの摂動よりも80-1,700倍大きいが、その方向はコサインに近い。 TALANは、標準アダプタベースのポストトレーニングにおいて、ステアブルアクティベーションレベルの適応を研究するための実用的なプラットフォームを提供する。

関連論文リスト

• TaDA: Calibrated Probe Gating for Task-Domain LoRA Merging [6.356259006504384]
  タスクとドメインアダプタは変換器アーキテクチャ全体にわたって一貫した深さ依存性の非対称性を示す。 本稿では,この構造を利用したトレーニングフリーなアルゴリズムを提案する。 $textbfTaDA$は、推論オーバーヘッドがゼロの標準ランク-r$LoRAアダプタを生成する。
  論文  参考訳（メタデータ） (2026-06-03T15:39:37Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• CRMA: A Spectrally-Bounded Backbone for Modular Continual Fine-Tuning of LLMs [0.0]
  我々は、内部混合行列 M がシンクホーン正規化による全ての前方通過において二重確率である残留アダプタ CRMA を紹介する。 5つのドメインにまたがるMistral-7Bでは、モジュラー・パー・タスクのLoRAは、+42.96%+/-5.5(ナイーブ微調整)から-0.17%+/-0.17までのバックボーンの損失相対的ドリフトを仲介する。
  論文  参考訳（メタデータ） (2026-05-29T21:50:23Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation [86.83038620308423]
  Continual Test-Time Adaptation (CTTA)は、ソースデータにアクセスすることなく、分散シフトの下でラベルなしのデータストリームへのオンライン適応を可能にすることを目的としている。 我々は,GOLD ( Guided Online Low-rank Directional Adaptation) を提案する。これは,Goldenサブスペースに機能を投影する軽量アダプタを用いて,サブスペースがAGOPを介して動的に更新される間に,コンパクトなスケーリングベクトルを学習する。
  論文  参考訳（メタデータ） (2026-03-23T12:48:38Z)
• When Domain Pretraining Interferes with Instruction Alignment: An Empirical Study of Adapter Merging in Medical LLMs [0.6345523830122167]
  大規模言語モデルは、ドメイン適応と命令アライメントを組み合わせる際に驚くべきアダプタ干渉を示す。 医学LLMのための2段階のLORAパイプラインについて検討し、ドメイン指向事前トレーニング(PT)と教師付き微調整(SFT)を個別に訓練し、後にマージした。
  論文  参考訳（メタデータ） (2026-01-26T10:54:06Z)
• The Quest for Winning Tickets in Low-Rank Adapters [24.58659526975649]
  Lottery Ticket仮説がパラメータ効率の良い微調整に拡張されるかどうかを検討する。 我々の重要な発見は、LTHがLoRA(Lo-Rank Adaptation)メソッド内に保持されていることです。 そこで本研究では,課題関連部分空間に適合する低ランクアダプタを訓練し,サロワークを識別する手法であるPartial-LoRAを提案する。
  論文  参考訳（メタデータ） (2025-12-27T06:39:08Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation [56.72132739364876]
  隠れた空間の情報を明示的に保存する特徴認識型プロジェクションフレームワークであるIPAを提案する。 IPAはLoRAとDoRAを一貫して改善し、平均1.5ポイントの精度でコモンセンス推論を行う。
  論文  参考訳（メタデータ） (2025-09-04T17:10:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。