論文の概要: Geometric Understanding of Discriminability and Transferability for Visual Domain Adaptation

• arxiv url: http://arxiv.org/abs/2407.09524v1
• Date: Mon, 24 Jun 2024 13:31:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:28:38.435079
• Title: Geometric Understanding of Discriminability and Transferability for Visual Domain Adaptation
• Title（参考訳）: 視覚領域適応のための識別性と伝達可能性の幾何学的理解
• Authors: You-Wei Luo, Chuan-Xian Ren, Xiao-Lin Xu, Qingshan Liu,
• Abstract要約: 教師なしドメイン適応(UDA)のための不変表現学習は、コンピュータビジョンとパターン認識コミュニティにおいて大きな進歩を遂げている。 近年,移動可能性と識別可能性との実証的な関係が注目されている。 本研究では,幾何学的観点から,伝達可能性と識別可能性の本質を体系的に分析する。
• 参考スコア（独自算出の注目度）: 27.326817457760725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To overcome the restriction of identical distribution assumption, invariant representation learning for unsupervised domain adaptation (UDA) has made significant advances in computer vision and pattern recognition communities. In UDA scenario, the training and test data belong to different domains while the task model is learned to be invariant. Recently, empirical connections between transferability and discriminability have received increasing attention, which is the key to understanding the invariant representations. However, theoretical study of these abilities and in-depth analysis of the learned feature structures are unexplored yet. In this work, we systematically analyze the essentials of transferability and discriminability from the geometric perspective. Our theoretical results provide insights into understanding the co-regularization relation and prove the possibility of learning these abilities. From methodology aspect, the abilities are formulated as geometric properties between domain/cluster subspaces (i.e., orthogonality and equivalence) and characterized as the relation between the norms/ranks of multiple matrices. Two optimization-friendly learning principles are derived, which also ensure some intuitive explanations. Moreover, a feasible range for the co-regularization parameters is deduced to balance the learning of geometric structures. Based on the theoretical results, a geometry-oriented model is proposed for enhancing the transferability and discriminability via nuclear norm optimization. Extensive experiment results validate the effectiveness of the proposed model in empirical applications, and verify that the geometric abilities can be sufficiently learned in the derived feasible range.
• Abstract（参考訳）: 同一分布仮定の制約を克服するために、教師なし領域適応(UDA)のための不変表現学習は、コンピュータビジョンとパターン認識コミュニティにおいて大きな進歩を遂げた。 UDAシナリオでは、トレーニングとテストデータは異なるドメインに属し、タスクモデルは不変であることが学習される。 近年, 伝達可能性と識別可能性との実証的な関係が注目され, 不変表現の理解の鍵となっている。 しかし、これらの能力に関する理論的研究や、学習された特徴構造の詳細な分析はまだ研究されていない。 本研究では,幾何学的観点から,伝達可能性と識別可能性の本質を体系的に分析する。 理論的結果から,共正則化関係の理解と,これらの能力の学習可能性の証明が得られた。 方法論的側面から、その能力は領域/クラスタ部分空間(すなわち直交性と同値性)の間の幾何学的性質として定式化され、複数の行列のノルム/ランクの関係として特徴づけられる。 2つの最適化フレンドリな学習原則が導出され、直感的な説明が保証される。 さらに, 幾何構造の学習のバランスをとるために, 共正則化パラメータの可能な範囲を導出する。 理論的な結果に基づき,核ノルム最適化による伝達性と識別性の向上を目的とした幾何指向モデルを提案する。 実験結果により,提案モデルの有効性を実証的に検証し, 導出可能な範囲で幾何的能力が十分に学習可能であることを検証した。

関連論文リスト

• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• Learned Regularization for Inverse Problems: Insights from a Spectral Model [1.4963011898406866]
  この章は、逆問題に対する最先端の学習アプローチに関する理論的に確立された調査を提供する。 正規化法とそれらの収束を、基礎となるデータ分布の観点から拡張した定義を与える。
  論文  参考訳（メタデータ） (2023-12-15T14:50:14Z)
• Applying statistical learning theory to deep learning [21.24637996678039]
  これらの講義の目的は、深層学習を理解しようとするときに生じる主な疑問の概要を提供することである。 良心過剰の文脈における暗黙の偏見について論じる。 本稿では, 線形対角線ネットワーク上での勾配降下の暗黙的バイアスを, 様々な回帰タスクに対して詳細に検討する。
  論文  参考訳（メタデータ） (2023-11-26T20:00:53Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複素データにおける説明的要因の解消は、一般化可能かつデータ効率のよい表現学習のための有望なアプローチである。 我々は、トポス理論とリッチな圏論を用いて、非絡み合いの論理的定義と量的メトリクスの間に理論的な関係を確立する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Geometric Methods for Sampling, Optimisation, Inference and Adaptive Agents [102.42623636238399]
  我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。 これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-03-20T16:23:17Z)
• Structure-preserving GANs [6.438897276587413]
  分散学習のためのデータ効率フレームワークとして,構造保存型GANを導入する。 我々は、不変判別器空間上のその射影に対して、判別器空間を減少させることができることを示す。 固有群対称性を持つ分布に対する対称性保存GANを構築することで、我々の枠組みを文脈化する。
  論文  参考訳（メタデータ） (2022-02-02T16:40:04Z)
• Geometry-Aware Unsupervised Domain Adaptation [12.298214579392129]
  Unsupervised Domain Adaptation (UDA)は、データセットシフトの存在下で、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としている。 既存のほとんどのメソッドは、ドメインのアライメントやクラス識別にうまく対応できないため、下流タスクの本質的なデータ構造を歪めてしまう可能性がある。 核ノルム最適化により,移動可能性と識別性を同時に学習するための新しい幾何認識モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-21T08:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。