論文の概要: Geometric Understanding of Discriminability and Transferability for Visual Domain Adaptation
- arxiv url: http://arxiv.org/abs/2407.09524v1
- Date: Mon, 24 Jun 2024 13:31:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 13:28:38.435079
- Title: Geometric Understanding of Discriminability and Transferability for Visual Domain Adaptation
- Title（参考訳）: 視覚領域適応のための識別性と伝達可能性の幾何学的理解
- Authors: You-Wei Luo, Chuan-Xian Ren, Xiao-Lin Xu, Qingshan Liu,
- Abstract要約: 教師なしドメイン適応(UDA)のための不変表現学習は、コンピュータビジョンとパターン認識コミュニティにおいて大きな進歩を遂げている。
近年,移動可能性と識別可能性との実証的な関係が注目されている。
本研究では,幾何学的観点から,伝達可能性と識別可能性の本質を体系的に分析する。
- 参考スコア（独自算出の注目度）: 27.326817457760725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To overcome the restriction of identical distribution assumption, invariant representation learning for unsupervised domain adaptation (UDA) has made significant advances in computer vision and pattern recognition communities. In UDA scenario, the training and test data belong to different domains while the task model is learned to be invariant. Recently, empirical connections between transferability and discriminability have received increasing attention, which is the key to understanding the invariant representations. However, theoretical study of these abilities and in-depth analysis of the learned feature structures are unexplored yet. In this work, we systematically analyze the essentials of transferability and discriminability from the geometric perspective. Our theoretical results provide insights into understanding the co-regularization relation and prove the possibility of learning these abilities. From methodology aspect, the abilities are formulated as geometric properties between domain/cluster subspaces (i.e., orthogonality and equivalence) and characterized as the relation between the norms/ranks of multiple matrices. Two optimization-friendly learning principles are derived, which also ensure some intuitive explanations. Moreover, a feasible range for the co-regularization parameters is deduced to balance the learning of geometric structures. Based on the theoretical results, a geometry-oriented model is proposed for enhancing the transferability and discriminability via nuclear norm optimization. Extensive experiment results validate the effectiveness of the proposed model in empirical applications, and verify that the geometric abilities can be sufficiently learned in the derived feasible range.
- Abstract（参考訳）: 同一分布仮定の制約を克服するために、教師なし領域適応(UDA)のための不変表現学習は、コンピュータビジョンとパターン認識コミュニティにおいて大きな進歩を遂げた。
UDAシナリオでは、トレーニングとテストデータは異なるドメインに属し、タスクモデルは不変であることが学習される。
近年, 伝達可能性と識別可能性との実証的な関係が注目され, 不変表現の理解の鍵となっている。
しかし、これらの能力に関する理論的研究や、学習された特徴構造の詳細な分析はまだ研究されていない。
本研究では,幾何学的観点から,伝達可能性と識別可能性の本質を体系的に分析する。
理論的結果から,共正則化関係の理解と,これらの能力の学習可能性の証明が得られた。
方法論的側面から、その能力は領域/クラスタ部分空間(すなわち直交性と同値性)の間の幾何学的性質として定式化され、複数の行列のノルム/ランクの関係として特徴づけられる。
2つの最適化フレンドリな学習原則が導出され、直感的な説明が保証される。
さらに, 幾何構造の学習のバランスをとるために, 共正則化パラメータの可能な範囲を導出する。
理論的な結果に基づき,核ノルム最適化による伝達性と識別性の向上を目的とした幾何指向モデルを提案する。
実験結果により,提案モデルの有効性を実証的に検証し, 導出可能な範囲で幾何的能力が十分に学習可能であることを検証した。
関連論文リスト
- Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。
近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。
標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
論文 参考訳（メタデータ） (2024-10-29T09:03:57Z) - Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning [5.802794302956837]
ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。
我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
論文 参考訳（メタデータ） (2024-09-11T15:07:18Z) - Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。
オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。
大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
論文 参考訳（メタデータ） (2024-02-23T16:50:07Z) - Learned Regularization for Inverse Problems: Insights from a Spectral Model [1.4963011898406866]
この章は、逆問題に対する最先端の学習アプローチに関する理論的に確立された調査を提供する。
正規化法とそれらの収束を、基礎となるデータ分布の観点から拡張した定義を与える。
論文 参考訳（メタデータ） (2023-12-15T14:50:14Z) - Applying statistical learning theory to deep learning [21.24637996678039]
これらの講義の目的は、深層学習を理解しようとするときに生じる主な疑問の概要を提供することである。
良心過剰の文脈における暗黙の偏見について論じる。
本稿では, 線形対角線ネットワーク上での勾配降下の暗黙的バイアスを, 様々な回帰タスクに対して詳細に検討する。
論文 参考訳（メタデータ） (2023-11-26T20:00:53Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - The Geometry of Self-supervised Learning Models and its Impact on
Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。
本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文 参考訳（メタデータ） (2022-09-18T18:15:38Z) - Geometric Methods for Sampling, Optimisation, Inference and Adaptive
Agents [102.42623636238399]
我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。
これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-03-20T16:23:17Z) - Geometry-Aware Unsupervised Domain Adaptation [12.298214579392129]
Unsupervised Domain Adaptation (UDA)は、データセットシフトの存在下で、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としている。
既存のほとんどのメソッドは、ドメインのアライメントやクラス識別にうまく対応できないため、下流タスクの本質的なデータ構造を歪めてしまう可能性がある。
核ノルム最適化により,移動可能性と識別性を同時に学習するための新しい幾何認識モデルを提案する。
論文 参考訳（メタデータ） (2021-12-21T08:45:42Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。