論文の概要: FAAR: Efficient Frequency-Aware Multi-Task Fine-Tuning via Automatic Rank Selection

• arxiv url: http://arxiv.org/abs/2603.20403v1
• Date: Fri, 20 Mar 2026 18:24:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.891538
• Title: FAAR: Efficient Frequency-Aware Multi-Task Fine-Tuning via Automatic Rank Selection
• Title（参考訳）: FAAR: 自動ランク選択による効率の良い周波数対応マルチタスクファインタニング
• Authors: Maxime Fontana, Michael Spratling, Miaojing Shi,
• Abstract要約: 本稿では,MTLファインチューニングのための周波数認識と自動ランク(FAAR)を提案する。 FAARは従来のMTLの微調整に比べてパラメータの数を最大9倍削減する。
• 参考スコア（独自算出の注目度）: 13.382659738606511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting models pre-trained on large-scale datasets is a proven way to reach strong performance quickly for down-stream tasks. However, the growth of state-of-the-art mod-els makes traditional full fine-tuning unsuitable and difficult, especially for multi-task learning (MTL) where cost scales with the number of tasks. As a result, recent studies investigate parameter-efficient fine-tuning (PEFT) using low-rank adaptation to significantly reduce the number of trainable parameters. However, these existing methods use a single, fixed rank, which may not be optimal for differ-ent tasks or positions in the MTL architecture. Moreover, these methods fail to learn spatial information that cap-tures inter-task relationships and helps to improve diverse task predictions. This paper introduces Frequency-Aware and Automatic Rank (FAAR) for efficient MTL fine-tuning. Our method introduces Performance-Driven Rank Shrink-ing (PDRS) to allocate the optimal rank per adapter location and per task. Moreover, by analyzing the image frequency spectrum, FAAR proposes a Task-Spectral Pyramidal Decoder (TS-PD) that injects input-specific context into spatial bias learning to better reflect cross-task relationships. Experiments performed on dense visual task benchmarks show the superiority of our method in terms of both accuracy and efficiency compared to other PEFT methods in MTL. FAAR reduces the number of parameters by up to 9 times compared to traditional MTL fine-tuning whilst improving overall performance. Our code is available.
• Abstract（参考訳）: 大規模なデータセットに事前トレーニングされたモデルを適用することは、ダウンストリームタスクにおいて、強力なパフォーマンスを迅速に達成するための実証済みの方法である。 しかし、最先端のMod-elの成長は、特にタスク数に応じてコストがスケールするマルチタスク学習(MTL)において、従来のフル微調整は適さない、かつ難しいものにしている。 その結果,低ランク適応を用いたパラメータ効率微調整(PEFT)について検討し,トレーニング可能なパラメータの数を著しく削減した。 しかし、これらの既存の手法は単一の固定階数を用いており、MTLアーキテクチャの異なるタスクや位置に対して最適ではないかもしれない。 さらに、これらの手法は、タスク間の関係をカプセル化する空間情報を学習できず、多様なタスク予測を改善するのに役立ちます。 本稿では,MTLファインチューニングのための周波数認識と自動ランク(FAAR)を提案する。 本手法では,適応位置とタスク毎に最適なランクを割り当てるために,PDRS(Performance-Driven Rank Shrink-ing)を導入している。 さらに、画像周波数スペクトルを解析することにより、入力固有のコンテキストを空間バイアス学習に注入し、クロスタスク関係をよりよく反映するタスクスペクトルピラミッドデコーダ(TS-PD)を提案する。 MTLの他のPEFT法と比較して,高密度視覚タスクベンチマークで行った実験は,精度と効率の両面で,本手法の優位性を示した。 FAARは、従来のMTLファインチューニングに比べてパラメータの数を最大9倍削減し、全体的なパフォーマンスを改善している。 私たちのコードは利用可能です。

関連論文リスト

• TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning [14.888918165109244]
  Task-Efficient Dynamic TransFormer, TADFormerは、タスク認識機能適応をきめ細かな方法で実行する新しいPEFTフレームワークである。 TADFormerは、密集したシーン理解タスクにおいて高い精度を実現し、トレーニング可能なパラメータの数を最大8.4倍に削減する。
  論文  参考訳（メタデータ） (2025-01-08T05:35:07Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Enhancing Large Language Model Performance with Gradient-Based Parameter Selection [32.88329156118533]
  Gradient-Mask Tuning (GMT) は、勾配情報に基づいてトレーニング中のパラメータを選択的に更新する手法である。 実験により, GMTは従来の微調整法に勝るだけでなく, LLM性能の上限も高めることを示した。
  論文  参考訳（メタデータ） (2024-06-21T17:42:52Z)
• MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning [1.4396109429521227]
  大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。 パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。 本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T17:43:58Z)
• Prototype-based HyperAdapter for Sample-Efficient Multi-task Tuning [30.251155072822055]
  Prototype-based HyperAdapter (PHA)は、アダプタチューニングとハイパーネットワーク上に構築された新しいフレームワークである。 サンプル効率のよい条件付きモジュールを生成するために、インスタンスdenseレトリバーとプロトタイプのハイパーネットワークを導入する。 PHAは、トレーニング可能なパラメータ、ストリームタスクの精度、サンプル効率のトレードオフをより良くすることを示す。
  論文  参考訳（メタデータ） (2023-10-18T02:42:17Z)
• FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
  本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。 この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T15:39:54Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。