Fugu-MT 論文翻訳(概要): DiTASK: Multi-Task Fine-Tuning with Diffeomorphic Transformations

論文の概要: DiTASK: Multi-Task Fine-Tuning with Diffeomorphic Transformations

arxiv url: http://arxiv.org/abs/2502.06029v2
Date: Fri, 28 Feb 2025 06:07:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-03 13:38:06.141980
Title: DiTASK: Multi-Task Fine-Tuning with Diffeomorphic Transformations
Title（参考訳）: DiTASK: 微分同相変換を用いたマルチタスクファインチューニング
Authors: Krishna Sri Ipsit Mantri, Carola-Bibiane Schönlieb, Bruno Ribeiro, Chaim Baskin, Moshe Eliasof,
Abstract要約: DiTASKは、複数のタスクに対してトレーニング済みの視覚変換器を効率的に適応するための新しいアプローチである。重み行列特異ベクトルを保存し、タスク固有の適応を可能にすることで、事前訓練された表現を維持する。 PASCAL MTLとNYUDを用いた実験により、DiTASKは4つの密集予測タスクで最先端の性能を達成することが示された。
参考スコア（独自算出の注目度）: 21.06471370479668
License:
Abstract: Pre-trained Vision Transformers now serve as powerful tools for computer vision. Yet, efficiently adapting them for multiple tasks remains a challenge that arises from the need to modify the rich hidden representations encoded by the learned weight matrices, without inducing interference between tasks. Current parameter-efficient methods like LoRA, which apply low-rank updates, force tasks to compete within constrained subspaces, ultimately degrading performance. We introduce DiTASK a novel Diffeomorphic Multi-Task Fine-Tuning approach that maintains pre-trained representations by preserving weight matrix singular vectors, while enabling task-specific adaptations through neural diffeomorphic transformations of the singular values. By following this approach, DiTASK enables both shared and task-specific feature modulations with minimal added parameters. Our theoretical analysis shows that DITASK achieves full-rank updates during optimization, preserving the geometric structure of pre-trained features, and establishing a new paradigm for efficient multi-task learning (MTL). Our experiments on PASCAL MTL and NYUD show that DiTASK achieves state-of-the-art performance across four dense prediction tasks, using 75% fewer parameters than existing methods. Our code is available [here](https://github.com/ipsitmantri/DiTASK).
Abstract（参考訳）: 事前訓練されたビジョントランスフォーマーは、コンピュータビジョンの強力なツールとして機能する。しかし、これらを複数のタスクに効率的に適応させることは、タスク間の干渉を引き起こすことなく、学習した重み行列によって符号化されたリッチな隠れ表現を変更する必要性から生じる課題である。ローランク更新を適用したLoRAのような現在のパラメータ効率の高いメソッドは、制約されたサブスペース内でタスクを競合させ、最終的にパフォーマンスを低下させる。重み行列特異ベクトルの保存による事前学習表現の維持と,その特異値のニューラル微分同相変換によるタスク固有適応を実現する。このアプローチに従うことで、DiTASKは最小限のパラメータで共有とタスク固有の特徴変調を可能にする。我々の理論解析は,DITASKが最適化中に全ランク更新を行い,事前学習した特徴の幾何学的構造を保ち,マルチタスク学習(MTL)のための新しいパラダイムを確立することを示唆している。 PASCAL MTLとNYUDを用いた実験により,DiTASKは従来の手法よりも75%少ないパラメータを用いて,4つの高密度予測タスクにおける最先端性能を実現することが示された。私たちのコードは (https://github.com/ipsitmantri/DiTASK) で利用可能です。

関連論文リスト

Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2025-01-12T17:41:23Z)
TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning [14.888918165109244]
Task-Efficient Dynamic TransFormer, TADFormerは、タスク認識機能適応をきめ細かな方法で実行する新しいPEFTフレームワークである。 TADFormerは、密集したシーン理解タスクにおいて高い精度を実現し、トレーニング可能なパラメータの数を最大8.4倍に削減する。
論文参考訳（メタデータ） (2025-01-08T05:35:07Z)
Optimizing Dense Visual Predictions Through Multi-Task Coherence and Prioritization [7.776434991976473]
マルチタスク学習(MTL)は、複数のタスクの同時トレーニングを含む。本稿では,高密度視覚タスクに特化して設計された高度MTLモデルを提案する。
論文参考訳（メタデータ） (2024-12-04T10:05:47Z)
Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
論文参考訳（メタデータ） (2024-03-18T14:05:52Z)
AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
論文参考訳（メタデータ） (2022-11-28T04:24:38Z)
Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision Tasks [36.34331439747556]
本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
論文参考訳（メタデータ） (2022-10-07T00:25:02Z)
Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
論文参考訳（メタデータ） (2022-05-24T10:48:33Z)
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文参考訳（メタデータ） (2022-05-11T17:10:41Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。