論文の概要: ConvLoRA and AdaBN based Domain Adaptation via Self-Training

• arxiv url: http://arxiv.org/abs/2402.04964v1
• Date: Wed, 7 Feb 2024 15:43:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 14:37:14.144314
• Title: ConvLoRA and AdaBN based Domain Adaptation via Self-Training
• Title（参考訳）: ConvLoRAとAdaBNに基づく自己学習によるドメイン適応
• Authors: Sidra Aleem, Julia Dietlmeier, Eric Arazo, Suzanne Little
• Abstract要約: マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
• 参考スコア（独自算出の注目度）: 4.006331916849688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing domain adaptation (DA) methods often involve pre-training on the source domain and fine-tuning on the target domain. For multi-target domain adaptation, having a dedicated/separate fine-tuned network for each target domain, that retain all the pre-trained model parameters, is prohibitively expensive. To address this limitation, we propose Convolutional Low-Rank Adaptation (ConvLoRA). ConvLoRA freezes pre-trained model weights, adds trainable low-rank decomposition matrices to convolutional layers, and backpropagates the gradient through these matrices thus greatly reducing the number of trainable parameters. To further boost adaptation, we utilize Adaptive Batch Normalization (AdaBN) which computes target-specific running statistics and use it along with ConvLoRA. Our method has fewer trainable parameters and performs better or on-par with large independent fine-tuned networks (with less than 0.9% trainable parameters of the total base model) when tested on the segmentation of Calgary-Campinas dataset containing brain MRI images. Our approach is simple, yet effective and can be applied to any deep learning-based architecture which uses convolutional and batch normalization layers. Code is available at: https://github.com/aleemsidra/ConvLoRA.
• Abstract（参考訳）: 既存のドメイン適応(da)メソッドは、しばしばソースドメインの事前トレーニングとターゲットドメインの微調整を伴う。 マルチターゲットドメイン適応では、トレーニング済みのモデルパラメータを全て保持する、ターゲットドメインごとに専用/分離された細調整ネットワークを持つことは、極めて高価である。 この制限に対処するため、ConvLoRA(Convolutional Low-Rank Adaptation)を提案する。 convloraは事前訓練されたモデル重量を凍結し、畳み込み層に訓練可能な低ランク分解行列を追加し、これらの行列を通して勾配をバックプロパゲーションすることで、訓練可能なパラメータの数を大幅に削減する。 さらに適応性を高めるために、ターゲット固有のランニング統計を計算し、ConvLoRAと共に使用するAdaptive Batch Normalization (AdaBN)を利用する。 脳MRI画像を含むCalgary-Campinasデータセットのセグメンテーションにおいて、トレーニング可能なパラメータは少なく、独立した大規模ネットワーク(総ベースモデルのトレーニング可能なパラメータは0.9%未満)と同等あるいは同等である。 このアプローチはシンプルだが効果的であり、畳み込み層とバッチ正規化層を使用するディープラーニングベースのアーキテクチャに適用できる。 コードはhttps://github.com/aleemsidra/convlora.com/。

関連論文リスト

• GeneralizeFormer: Layer-Adaptive Model Generation across Test-Time Distribution Shifts [58.95913531746308]
  テスト時間領域の一般化の問題は、モデルが複数のソースドメインで訓練され、トレーニング中に見たことのないターゲットドメインで調整される場合である。 textitGeneralizeFormer と呼ばれる軽量メタ学習変換器を用いて,推論中に複数の層パラメータを生成することを提案する。
  論文  参考訳（メタデータ） (2025-02-15T10:10:49Z)
• One Initialization to Rule them All: Fine-tuning via Explained Variance Adaptation [13.585425242072173]
  最も一般的に使われている微調整法は、ローランク適応(LoRA)を介してトレーニング済みの重量を更新することである。 活性化のミニバッチ上での特異値分解(SVD)を計算し,データ駆動方式で新たな重み付けを初期化することによりLoRAを改善することを提案する。 新しいメソッドを $textbfE$xplained $textbfV$ariance $textbfA$daptation (EVA) と呼びます。
  論文  参考訳（メタデータ） (2024-10-09T17:59:06Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• On the Implicit Relation Between Low-Rank Adaptation and Differential Privacy [5.359060261460183]
  言語モデルの低ランクタスク適応(LoRAやFLoRAなど)が提案されている。 データプライバシのレンズからの低ランク適応に注目します。 他の既存の微調整アルゴリズムとは異なり、低ランク適応は暗黙的に微調整データのプライバシーを提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models [34.1111413429869]
  BiLoRA はバイレベル最適化 (BLO) に基づく過度に適合する微調整手法である 自然言語理解と生成タスクをカバーする10のデータセットでテストしました。
  論文  参考訳（メタデータ） (2024-03-19T14:11:20Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。