論文の概要: Basis-Oriented Low-rank Transfer for Few-Shot and Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2512.02441v1
• Date: Tue, 02 Dec 2025 06:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.738023
• Title: Basis-Oriented Low-rank Transfer for Few-Shot and Test-Time Adaptation
• Title（参考訳）: Few-Shot と Test-Time Adaptation のためのバス指向低ランク転送
• Authors: Junghwan Park, Woojin Cho, Junhyuk Heo, Darongsae Kwon, Kookjin Lee,
• Abstract要約: 厳密なデータと計算予算の下で、大きな事前訓練されたモデルを未確認のタスクに適用することは、依然として困難である。 本稿では,既存の微調整モデルを再利用し,そのサブ空間内に適応するフレームワークBOLTを提案する。 本結果は,タスクインフォームド部分空間への制約適応が,目に見えないタスク転送の効果的な代替手段となることを示す。
• 参考スコア（独自算出の注目度）: 10.804106052326402
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Adapting large pre-trained models to unseen tasks under tight data and compute budgets remains challenging. Meta-learning approaches explicitly learn good initializations, but they require an additional meta-training phase over many tasks, incur high training cost, and can be unstable. At the same time, the number of task-specific pre-trained models continues to grow, yet the question of how to transfer them to new tasks with minimal additional training remains relatively underexplored. We propose BOLT (Basis-Oriented Low-rank Transfer), a framework that reuses existing fine-tuned models not by merging weights, but instead by extracting an orthogonal, task-informed spectral basis and adapting within that subspace. In the offline phase, BOLT collects dominant singular directions from multiple task vectors and orthogonalizes them per layer to form reusable bases. In the online phase, we freeze these bases and train only a small set of diagonal coefficients per layer for the new task, yielding a rank-controlled update with very few trainable parameters. This design provides (i) a strong, training-free initialization for unseen tasks, obtained by pooling source-task coefficients, along with a lightweight rescaling step while leveraging the shared orthogonal bases, and (ii) a parameter-efficient fine-tuning (PEFT) path that, in our experiments, achieves robust performance compared to common PEFT baselines as well as a representative meta-learned initialization. Our results show that constraining adaptation to a task-informed orthogonal subspace provides an effective alternative for unseen-task transfer.
• Abstract（参考訳）: 厳密なデータと計算予算の下で、大きな事前訓練されたモデルを未確認のタスクに適用することは、依然として困難である。 メタ学習アプローチは、優れた初期化を明示的に学習するが、多くのタスクに対して追加のメタトレーニングフェーズを必要とし、高いトレーニングコストを発生させ、不安定になる可能性がある。 同時に、タスク固有の事前訓練されたモデルの数は増え続けているが、それを最小限の追加トレーニングで新しいタスクに転送する方法に関する質問は、比較的過小評価されている。 BOLT(Basis-Oriented Low-rank Transfer)は、重みをマージするのではなく、直交したタスクインフォームドスペクトルベースを抽出し、そのサブ空間内で適応することで既存の微調整モデルを再利用するフレームワークである。 オフラインフェーズでは、BOLTは複数のタスクベクトルから支配的な特異方向を収集し、層ごとに直交して再利用可能な基底を形成する。 オンラインフェーズでは、これらのベースを凍結し、新しいタスクのために各レイヤごとに小さな対角係数のみをトレーニングし、トレーニング可能なパラメータがほとんどないランク制御された更新を生成する。 このデザインは 一 ソースタスク係数をプールし、共有直交ベースを活用しつつ、軽量な再スケーリングステップを施した、見知らぬタスクに対する強力な訓練なし初期化。 (i)パラメータ効率の良い微細チューニング(PEFT)パスは,実験において,一般的なPEFTベースラインと比較して頑健な性能を実現し,メタ学習を代表とする初期化を実現している。 本結果は,タスクインフォームド直交部分空間への制約適応が,目に見えないタスク転送の効果的な代替手段となることを示す。

関連論文リスト

• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Prompt Tuning Decision Transformers with Structured and Scalable Bandits [4.460057058209513]
  提案手法は,推定時刻における実演データから最適軌道プロンプトを構築することを学習するバンディットベースのプロンプトチューニング手法である。 提案手法は,幅広いタスク,高次元環境,アウト・オブ・ディストリビューションシナリオにまたがる性能を継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-02-07T14:57:17Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Robust Transfer Learning with Pretrained Language Models through Adapters [40.45102278979193]
  BERTのような大きな事前訓練された言語モデルによる伝達学習は、ほとんどのNLPタスクにおいて支配的なアプローチとなっている。 これらの問題を緩和するために, 単純かつ効果的なアダプタベースのアプローチを提案する。 実験により,このような学習手法が,様々な下流タスクへの伝達学習における安定性と対角的堅牢性の向上につながることが示された。
  論文  参考訳（メタデータ） (2021-08-05T02:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。