論文の概要: Beyond Full-Model Rollback: AuroSFT for Adapter-State Multi-Task Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.05250v1
• Date: Wed, 05 Aug 2026 15:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.765805
• Title: Beyond Full-Model Rollback: AuroSFT for Adapter-State Multi-Task Fine-Tuning
• Title（参考訳）: フルモデルロールバックを超えて: 適応型マルチタスクファインチューニングのためのAuroSFT
• Abstract要約: AuroSFTは、オーバーフィット対応マルチタスクSFTをコンパクトでマージ可能なアダプタ状態として再キャストする。 AuroSFTの平均精度は61.36%で、対応するmsft参照行は59.85%である。
• 参考スコア（独自算出の注目度）: 8.926273301432037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task supervised fine-tuning (SFT) often casts a heterogeneous data mixture as a single optimization problem, even though different tasks may reach their best generalization at different times. msft exposes this mismatch through task-wise roll-out, exclusion, and rollback, but its original formulation materializes the scheduler state as full-model checkpoints, making stage transitions costly to store, restore, and deploy. This paper introduces AuroSFT, a parameter-efficient framework that recasts the carried state of overfitting-aware multi-task SFT as a compact, mergeable adapter state. AuroSFT freezes the pretrained backbone, trains only injected adapters, rolls back adapter checkpoints at task-wise peaks, and continues on the remaining active mixture. At the layer level, each adapter applies an AuroRA-inspired adaptive nonlinear layer to a low-rank weight factor rather than to the sample representation. The resulting update remains linear in the input, rank-bounded, and exactly mergeable into the frozen projection. Under the retained-backbone comparison protocol, AuroSFT achieves 61.36% average accuracy, compared with 59.85% for the corresponding msft reference row, and obtains higher accuracy on all five backbones. Our code is available at the anonymous repository: https://anonymous.4open.science/r/AuroSFT-80D1.
• Abstract（参考訳）: マルチタスク制御ファインチューニング(SFT)は、異なるタスクが異なるタイミングで最高の一般化に達するとしても、不均一なデータ混合を単一の最適化問題とみなすことが多い。 msftはタスクワイズロールアウト、排他、ロールバックを通じてこのミスマッチを公開するが、当初の定式化によってスケジューラ状態をフルモデルチェックポイントとして実現し、ステージ遷移を保存、復元、デプロイするのにコストがかかる。 本稿では,マルチタスクSFTをコンパクトでマージ可能なアダプタ状態として再キャストするパラメータ効率のフレームワークであるAuroSFTを紹介する。 AuroSFTは事前訓練されたバックボーンを凍結し、アダプタのみを注入し、タスクワイドピークでアダプタチェックポイントをロールバックし、残りのアクティブミックスを継続する。 層レベルでは、各アダプタはサンプル表現ではなく、Auroraにインスパイアされた適応非線形層を低ランクの重み係数に適用する。 結果として得られた更新は、入力において線形であり、ランクバウンドであり、凍結プロジェクションに正確にマージ可能である。 保持されたバックボーン比較プロトコルの下では、AuroSFTは61.36%の平均精度を、対応するmsft参照行の59.85%と比較して達成し、5つのバックボーンで高い精度を得る。 私たちのコードは匿名リポジトリで利用可能です。 https://anonymous.4open.science/r/AuroSFT-80D1。

関連論文リスト

• Online Self-Weighted Fine-Tuning [13.544097764061886]
  強化学習(RL)に基づく手法は,モデル生成ロールアウトを用いて更新強度を適応する。 オンライントラジェクトリレベルの重み付けによりSFTを増強する簡単な方法である textbfOnline Self-Weighted Fine-Tuning (OSW-FT) を提案する。 OSW-FTは小さなスケールモデルではSFTよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-09-01T05:12:45Z)
• Weightless Fine-Tuning: Personalizing LLMs via Logit-Space Transport [35.12591387008241]
  Weightless Fine-Tuning (WFT) は、教師付き適応の分布効果を更新なしで近似する訓練なし復号時間法である。 WFTはデータセット間で最高の平均パフォーマンスを達成し、個々のタスクでSFTにマッチまたは超過し、他の軽量ベースラインを平均で上回る。
  論文  参考訳（メタデータ） (2026-08-11T18:49:03Z)
• Beyond Rotations: AuroOFT for Expressive Quantized Orthogonal Fine-Tuning [8.005472569222384]
  AuroOFTは、qoftを安定な量子化互換分岐として保持し、各適応線形層にゼロスタートゲートの低ランク非線形残差を付加する。 AuroOFT は活性化を RMS 正規化されたコンパクト潜在空間にマッピングし、有界あるいはトークン依存のゲーティングを持つ適応非線形基底を使用する。
  論文  参考訳（メタデータ） (2026-08-05T16:05:13Z)
• TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models [8.47008876232157]
  本稿では, TALAN (Task-Aligned Latent Adaptation Networks) を導入する。 TALANはアクティブシーケンスを潜在メモリに圧縮し、トークンレベルの摂動にリミックスし、制御された残留更新を通じて書き戻す。 4つのQwen3ファミリーのバックボーンと4つのSTEM/コードベンチマークで、TALANは一致したLoRAとDoRAベースラインを改善している。
  論文  参考訳（メタデータ） (2026-06-05T04:34:50Z)
• The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation [86.83038620308423]
  Continual Test-Time Adaptation (CTTA)は、ソースデータにアクセスすることなく、分散シフトの下でラベルなしのデータストリームへのオンライン適応を可能にすることを目的としている。 我々は,GOLD ( Guided Online Low-rank Directional Adaptation) を提案する。これは,Goldenサブスペースに機能を投影する軽量アダプタを用いて,サブスペースがAGOPを介して動的に更新される間に,コンパクトなスケーリングベクトルを学習する。
  論文  参考訳（メタデータ） (2026-03-23T12:48:38Z)
• mSFT: Addressing Dataset Mixtures Overfitting Heterogeneously in Multi-task SFT [27.111441041682586]
  mSFT(mSFT)は、マルチタスクデータ混合のための反復的、過度に適合する検索アルゴリズムである。 10のベンチマークと6のベースモデルで、4つのベースラインを一貫して上回る。 低い計算予算では、mSFTは訓練用FLOPを低下させながら性能を向上させることができる。
  論文  参考訳（メタデータ） (2026-03-23T06:01:51Z)
• Depth Completion as Parameter-Efficient Test-Time Adaptation [66.72360181325877]
  CAPAはパラメータ効率のよいテスト時間最適化フレームワークであり、深度補完のために事前訓練された3D基礎モデル(FM)を適用する。 ビデオの場合、CAPAはシーケンスレベルのパラメータ共有を導入し、時間的相関を利用して、堅牢性を改善し、複数フレームの一貫性を強制するために、すべてのフレームを共同で適用する。
  論文  参考訳（メタデータ） (2026-02-16T13:53:23Z)
• Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models [52.502867924372275]
  Mixture-of-Experts (MoE)モデルは、スパース専門家のアクティベーションを通じて効率的なスケーリングを実現するが、デプロイメントの分散シフトによる最適以下のルーティング決定に悩まされることが多い。 我々は、外部の監視やデータなしで、テキスト生成中にMoEルーティング決定を継続的に適用するテキストタデータフリーオンラインテストタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-16T16:24:36Z)
• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization [46.30241353155658]
  既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。 我々は、最先端の手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。 TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
  論文  参考訳（メタデータ） (2023-09-26T14:06:26Z)
• Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
  ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。 複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
  論文  参考訳（メタデータ） (2022-11-07T19:35:55Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。