論文の概要: SoRA: Singular Value Decomposed Low-Rank Adaptation for Domain Generalizable Representation Learning

• arxiv url: http://arxiv.org/abs/2412.04077v1
• Date: Thu, 05 Dec 2024 11:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:44.380332
• Title: SoRA: Singular Value Decomposed Low-Rank Adaptation for Domain Generalizable Representation Learning
• Title（参考訳）: SoRA:Singular Value Decomposed Low-Rank Adaptation for Domain Generalizable Representation Learning (特集:情報工学)
• Authors: Seokju Yun, Seunghye Chae, Dongheon Lee, Youngmin Ro,
• Abstract要約: ドメインの一般化は、1つまたは複数のソースドメインを使用してモデルを適応し、目に見えないターゲットドメインで堅牢なパフォーマンスを保証することを目的としています。 既存のPEFT手法は、事前訓練されたモデルの一般化可能なコンポーネントと学習タスク固有の特徴のバランスをとるのに苦労する。 Singular Value Decomposed Low-Rank Adaptation (SoRA)を導入する。
• 参考スコア（独自算出の注目度）: 6.262268096839562
• License:
• Abstract: Domain generalization (DG) aims to adapt a model using one or multiple source domains to ensure robust performance in unseen target domains. Recently, Parameter-Efficient Fine-Tuning (PEFT) of foundation models has shown promising results in the context of DG problem. Nevertheless, existing PEFT methods still struggle to strike a balance between preserving generalizable components of the pre-trained model and learning task-specific features. To gain insights into the distribution of generalizable components, we begin by analyzing the pre-trained weights through the lens of singular value decomposition. Building on these insights, we introduce Singular Value Decomposed Low-Rank Adaptation (SoRA), an approach that selectively tunes minor singular components while keeping the residual parts frozen. SoRA effectively retains the generalization ability of the pre-trained model while efficiently acquiring task-specific skills. Furthermore, we freeze domain-generalizable blocks and employ an annealing weight decay strategy, thereby achieving an optimal balance in the delicate trade-off between generalizability and discriminability. SoRA attains state-of-the-art results on multiple benchmarks that span both domain generalized semantic segmentation to domain generalized object detection. In addition, our methods introduce no additional inference overhead or regularization loss, maintain compatibility with any backbone or head, and are designed to be versatile, allowing easy integration into a wide range of tasks.
• Abstract（参考訳）: ドメイン一般化(DG)は、1つまたは複数のソースドメインを使用してモデルを適応し、目に見えないターゲットドメインで堅牢なパフォーマンスを保証することを目的としている。 近年,基礎モデルのパラメータ効率の良いファインチューニング (PEFT) がDG問題において有望な結果を示している。 それでも、既存のPEFT手法は、事前訓練されたモデルの一般化可能なコンポーネントと学習タスク固有の特徴のバランスを取るのに苦戦している。 一般化可能な成分の分布に関する洞察を得るために, 単値分解レンズを用いて事前学習した重みを解析することから始める。 これらの知見に基づいて,残った部分の凍結を保ちながら,小さな特異成分を選択的にチューニングするSingular Value Decomposed Low-Rank Adaptation (SoRA)を導入する。 SoRAは、タスク固有のスキルを効率的に獲得しつつ、事前訓練されたモデルの一般化能力を効果的に維持する。 さらに, 領域一般化可能なブロックを凍結し, 熱処理量減少戦略を用いて, 一般化性と識別性の間の微妙なトレードオフにおいて最適なバランスをとる。 SoRAは、ドメイン一般化セマンティックセグメンテーションとドメイン一般化オブジェクト検出の両方にまたがる複数のベンチマークで最先端の結果を得る。 さらに,提案手法は,追加の推論オーバーヘッドや正規化損失を伴わず,任意のバックボーンやヘッドとの互換性を維持し,汎用性を実現し,幅広いタスクに容易に統合できるように設計されている。

関連論文リスト

• Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
  ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。 近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。 我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
  論文  参考訳（メタデータ） (2024-07-21T07:50:49Z)
• Causality-inspired Latent Feature Augmentation for Single Domain Generalization [13.735443005394773]
  単一ドメインの一般化(Single-DG)は、単一のトレーニングドメインのみを持つ一般化可能なモデルを開発し、他の未知のターゲットドメインでうまく機能させることを目的としている。 ドメイン・ハングリー構成の下で、ソース・ドメインのカバレッジを拡大し、異なる分布にまたがる固有の因果的特徴を見つける方法がモデルの一般化能力を高める鍵となる。 本稿では、因果学習と介入に基づく特徴レベルの変換のメタ知識を学習することで、単一DGの因果性に着想を得た潜在機能拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T02:42:25Z)
• Rethinking Multi-domain Generalization with A General Learning Objective [19.28143363034362]
  マルチドメイン一般化(mDG)は、トレーニングとテストディストリビューションの相違を最小限にすることを目的としている。 既存のmDG文献には、一般的な学習目標パラダイムが欠けている。 制約緩和に$Y$-mappingを活用することを提案する。
  論文  参考訳（メタデータ） (2024-02-29T05:00:30Z)
• Mitigate Domain Shift by Primary-Auxiliary Objectives Association for Generalizing Person ReID [39.98444065846305]
  ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。 本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。 我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
  論文  参考訳（メタデータ） (2023-10-24T15:15:57Z)
• Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
  ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。 AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。 その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-03T11:51:11Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Calibrated Feature Decomposition for Generalizable Person Re-Identification [82.64133819313186]
  Calibrated Feature Decomposition (CFD)モジュールは、人物の再識別の一般化能力の向上に焦点を当てている。 キャリブレーション・アンド・スタンダード化されたバッチ正規化(CSBN)は、キャリブレーションされた人物表現を学習するために設計されている。
  論文  参考訳（メタデータ） (2021-11-27T17:12:43Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Feature Alignment and Restoration for Domain Generalization and Adaptation [93.39253443415392]
  クロスドメイン機能アライメントは、ドメイン不変表現を学ぶために、異なるドメインの特徴分布を抽出するために広く研究されてきた。 本稿では,FAR(Feature Alignment and Restoration)と呼ばれる統合フレームワークを提案する。 複数の分類ベンチマークの実験は、ドメインの一般化と教師なしドメインの適応の両方のためのFARフレームワークの性能と強力な一般化を実証している。
  論文  参考訳（メタデータ） (2020-06-22T05:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。