論文の概要: Frequency Switching Mechanism for Parameter-E!cient Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2603.21111v1
• Date: Sun, 22 Mar 2026 07:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.244041
• Title: Frequency Switching Mechanism for Parameter-E!cient Multi-Task Learning
• Title（参考訳）: パラメータE!サイエントマルチタスク学習のための周波数スイッチング機構
• Authors: Shih-Wen Liu, Yen-Chang Chen, Wei-Ta Chu, Fu-En Yang, Yu-Chiang Frank Wang,
• Abstract要約: Free Sinewichはパラメータ効率のよいマルチタスク学習フレームワークであり、ほぼゼロコストの重量変調を可能にする。 厳密な予測ベンチマークでは、Free Sinewichは最先端のパフォーマンス効率トレードオフを達成する。
• 参考スコア（独自算出の注目度）: 37.45917645999797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning (MTL) aims to enable a single model to solve multiple tasks efficiently; however, current parameter-efficient fine-tuning (PEFT) methods remain largely limited to single-task adaptation. We introduce \textbf{Free Sinewich}, a parameter-efficient multi-task learning framework that enables near-zero-cost weight modulation via frequency switching (\textbf{Free}). Specifically, a \textbf{Sine-AWB (Sinewich)} layer combines low-rank factors and convolutional priors into a single kernel, which is then modulated elementwise by a sinusoidal transformation to produce task-specialized weights. A lightweight Clock Net is introduced to produce bounded frequencies that stabilize this modulation during training. Theoretically, sine modulation enhances the rank of low-rank adapters, while frequency separation decorrelates the weights of different tasks. On dense prediction benchmarks, Free Sinewich achieves state-of-the-art performance-efficiency trade-offs (e.g., up to +5.39\% improvement over single-task fine-tuning with only 6.53M trainable parameters), offering a compact and scalable paradigm based on frequency-based parameter sharing. Project page: \href{https://casperliuliuliu.github.io/projects/Free-Sinewich/}{https://casperliuliuliu.github.io/projects/Free-Sinewich}.
• Abstract（参考訳）: マルチタスク学習(MTL)は、1つのモデルで複数のタスクを効率的に解くことを目的としている。 パラメータ効率のよいマルチタスク学習フレームワークである \textbf{Free Sinewich} を導入する。 具体的には、textbf{Sine-AWB (Sinewich)} 層は低ランク因子と畳み込み前駆体を1つのカーネルに結合し、正弦波変換によって要素的に変調してタスク特殊化重みを生成する。 軽量なクロックネットを導入し、トレーニング中にこの変調を安定化する有界周波数を生成する。 理論的には、正弦変調は低ランクアダプタのランクを高め、周波数分離は異なるタスクの重みを相関させる。 厳密な予測ベンチマークでは、Free Sinewichは最先端のパフォーマンス効率トレードオフ(例えば、周波数ベースのパラメータ共有に基づくコンパクトでスケーラブルなパラダイムを提供する。 プロジェクトページ: \href{https://casperliuliu.github.io/projects/Free-Sinewich/}{https://casperliuliu.github.io/projects/Free-Sinewich}

関連論文リスト

• GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers [12.475144734899674]
  我々は,選択したレイヤのD次元トークン表現をKDグループに分割する軽量PEFTフレームワークGRASPを紹介し,各グループに対して共有スケーリングおよびシフトベクトルを学習する。 決定論的値ではなく,事前学習した重みに対する摂動としてガウス分布を学習するStochGRASPを提案する。 様々なノイズレベルの下で、StochGRASPは決定論的変異を一貫して上回り、エネルギー効率とノイズを発生させるハードウェアプラットフォームに適していることを示した。
  論文  参考訳（メタデータ） (2025-12-03T22:17:05Z)
• Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance [13.636389424786854]
  各タスクのコアパラメータは、統一されたバックボーンに移植される。 異なるタスクの非コアパラメータは、Spherical Linear Interpolationを通じてスムーズに統合される。 複数の公開ベンチマークの実験は、我々のアプローチがタスクの干渉や忘れを著しく軽減していることを示している。
  論文  参考訳（メタデータ） (2025-08-29T16:07:33Z)
• QuIC: Quantum-Inspired Compound Adapters for Parameter Efficient Fine-Tuning [0.0]
  大きなファンデーションモデルの完全な微調整は、GPUメモリとトレーニング時間を歪ませます。 量子インスパイア複合アダプタ(QuICアダプタ)について紹介する。 QuICアダプタは、ベースモデルの0.02%未満のメモリフットプリントを使用して、モデルを効果的に微調整することができる。
  論文  参考訳（メタデータ） (2025-02-10T13:06:56Z)
• RECAST: Reparameterized, Compact weight Adaptation for Sequential Tasks [16.512587987753967]
  RECASTはタスク固有のトレーニング可能なパラメータを50未満に劇的に削減する新しい手法である。 本稿では,RECASTが様々なスケール,アーキテクチャ,パラメータ空間において,最先端の技術を最大3%向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-25T19:08:38Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning [112.97430455461097]
  本稿では,各トランスフォーマー層に導入される適応モジュールの混合を調整し,PLMの重みの大半を凍結させながら,汎用PEFT法を提案する。 PLMパラメータの0.1-0.2%だけをチューニングすることにより、AdaMix は NLU および NLG のタスクに対して SOTA パラメータ効率の良い微調整およびフルモデル微調整より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-31T16:23:36Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。