論文の概要: ConvLoRA and AdaBN based Domain Adaptation via Self-Training
- arxiv url: http://arxiv.org/abs/2402.04964v1
- Date: Wed, 7 Feb 2024 15:43:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 14:37:14.144314
- Title: ConvLoRA and AdaBN based Domain Adaptation via Self-Training
- Title（参考訳）: ConvLoRAとAdaBNに基づく自己学習によるドメイン適応
- Authors: Sidra Aleem, Julia Dietlmeier, Eric Arazo, Suzanne Little
- Abstract要約: マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。
ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。
提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
- 参考スコア（独自算出の注目度）: 4.006331916849688
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing domain adaptation (DA) methods often involve pre-training on the
source domain and fine-tuning on the target domain. For multi-target domain
adaptation, having a dedicated/separate fine-tuned network for each target
domain, that retain all the pre-trained model parameters, is prohibitively
expensive. To address this limitation, we propose Convolutional Low-Rank
Adaptation (ConvLoRA). ConvLoRA freezes pre-trained model weights, adds
trainable low-rank decomposition matrices to convolutional layers, and
backpropagates the gradient through these matrices thus greatly reducing the
number of trainable parameters. To further boost adaptation, we utilize
Adaptive Batch Normalization (AdaBN) which computes target-specific running
statistics and use it along with ConvLoRA. Our method has fewer trainable
parameters and performs better or on-par with large independent fine-tuned
networks (with less than 0.9% trainable parameters of the total base model)
when tested on the segmentation of Calgary-Campinas dataset containing brain
MRI images. Our approach is simple, yet effective and can be applied to any
deep learning-based architecture which uses convolutional and batch
normalization layers. Code is available at:
https://github.com/aleemsidra/ConvLoRA.
- Abstract（参考訳）: 既存のドメイン適応(da)メソッドは、しばしばソースドメインの事前トレーニングとターゲットドメインの微調整を伴う。
マルチターゲットドメイン適応では、トレーニング済みのモデルパラメータを全て保持する、ターゲットドメインごとに専用/分離された細調整ネットワークを持つことは、極めて高価である。
この制限に対処するため、ConvLoRA(Convolutional Low-Rank Adaptation)を提案する。
convloraは事前訓練されたモデル重量を凍結し、畳み込み層に訓練可能な低ランク分解行列を追加し、これらの行列を通して勾配をバックプロパゲーションすることで、訓練可能なパラメータの数を大幅に削減する。
さらに適応性を高めるために、ターゲット固有のランニング統計を計算し、ConvLoRAと共に使用するAdaptive Batch Normalization (AdaBN)を利用する。
脳MRI画像を含むCalgary-Campinasデータセットのセグメンテーションにおいて、トレーニング可能なパラメータは少なく、独立した大規模ネットワーク(総ベースモデルのトレーニング可能なパラメータは0.9%未満)と同等あるいは同等である。
このアプローチはシンプルだが効果的であり、畳み込み層とバッチ正規化層を使用するディープラーニングベースのアーキテクチャに適用できる。
コードはhttps://github.com/aleemsidra/convlora.com/。
関連論文リスト
- On the Implicit Relation Between Low-Rank Adaptation and Differential Privacy [5.359060261460183]
言語モデルの低ランクタスク適応(LoRAやFLoRAなど)が提案されている。
データプライバシのレンズからの低ランク適応に注目します。
他の既存の微調整アルゴリズムとは異なり、低ランク適応は暗黙的に微調整データのプライバシーを提供する。
論文 参考訳（メタデータ） (2024-09-26T04:56:49Z) - SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。
本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。
これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
論文 参考訳（メタデータ） (2024-08-06T16:39:42Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models [34.1111413429869]
BiLoRA はバイレベル最適化 (BLO) に基づく過度に適合する微調整手法である
自然言語理解と生成タスクをカバーする10のデータセットでテストしました。
論文 参考訳（メタデータ） (2024-03-19T14:11:20Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。
TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。
メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
論文 参考訳（メタデータ） (2023-05-22T04:53:59Z) - Adapting the Mean Teacher for keypoint-based lung registration under
geometric domain shifts [75.51482952586773]
ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。
本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。
本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
論文 参考訳（メタデータ） (2022-07-01T12:16:42Z) - Fire Together Wire Together: A Dynamic Pruning Approach with
Self-Supervised Mask Prediction [12.86325214182021]
動的モデルプルーニング(Dynamic Model pruning)は、デプロイ中の各入力サンプルに対する異なるサブネットワークの推測を可能にする、最近の方法である。
現在の動的手法は、間隔損失を誘導することによって正規化を通じて連続的なチャネルゲーティングを学ぶことに依存している。
我々は,CIFARおよびImageNet上で,VGG,ResNet,MobileNetなどのニューラルネットワークの実験を行った。
論文 参考訳（メタデータ） (2021-10-15T17:39:53Z) - LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。
GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文 参考訳（メタデータ） (2021-06-17T17:37:18Z) - Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。
グラフ埋め込みに基づく汎用フレームワークを提案する。
提案手法が強力なドメイン適応フレームワークにつながることを示す。
論文 参考訳（メタデータ） (2020-03-09T12:25:13Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。