論文の概要: SIDDA: SInkhorn Dynamic Domain Adaptation for Image Classification with Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2501.14048v1
• Date: Thu, 23 Jan 2025 19:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:45.155028
• Title: SIDDA: SInkhorn Dynamic Domain Adaptation for Image Classification with Equivariant Neural Networks
• Title（参考訳）: SIDDA:等変ニューラルネットワークを用いた画像分類のためのSinkhorn Dynamic Domain Adaptation
• Authors: Sneh Pandya, Purvik Patel, Brian D. Nord, Mike Walmsley, Aleksandra Ćiprijanović,
• Abstract要約: SIDDA は Sinkhorn の発散に基づいて構築された DA トレーニングアルゴリズムである。 SIDDAはNNの一般化能力を向上する。 また,二面体群$D_N$の群順の変動に関して,SIDDAの有効性について検討した。
• 参考スコア（独自算出の注目度）: 37.69303106863453
• License:
• Abstract: Modern neural networks (NNs) often do not generalize well in the presence of a "covariate shift"; that is, in situations where the training and test data distributions differ, but the conditional distribution of classification labels remains unchanged. In such cases, NN generalization can be reduced to a problem of learning more domain-invariant features. Domain adaptation (DA) methods include a range of techniques aimed at achieving this; however, these methods have struggled with the need for extensive hyperparameter tuning, which then incurs significant computational costs. In this work, we introduce SIDDA, an out-of-the-box DA training algorithm built upon the Sinkhorn divergence, that can achieve effective domain alignment with minimal hyperparameter tuning and computational overhead. We demonstrate the efficacy of our method on multiple simulated and real datasets of varying complexity, including simple shapes, handwritten digits, and real astronomical observations. SIDDA is compatible with a variety of NN architectures, and it works particularly well in improving classification accuracy and model calibration when paired with equivariant neural networks (ENNs). We find that SIDDA enhances the generalization capabilities of NNs, achieving up to a $\approx40\%$ improvement in classification accuracy on unlabeled target data. We also study the efficacy of DA on ENNs with respect to the varying group orders of the dihedral group $D_N$, and find that the model performance improves as the degree of equivariance increases. Finally, we find that SIDDA enhances model calibration on both source and target data--achieving over an order of magnitude improvement in the ECE and Brier score. SIDDA's versatility, combined with its automated approach to domain alignment, has the potential to advance multi-dataset studies by enabling the development of highly generalizable models.
• Abstract（参考訳）: 現代のニューラルネットワーク(NN)は、"共変量シフト(covariate shift)"が存在する場合、すなわち、トレーニングとテストデータ分布が異なる状況では、よく一般化しないことが多いが、分類ラベルの条件分布は変わっていない。 このような場合、NN一般化は、よりドメイン不変な特徴を学習する問題に還元することができる。 ドメイン適応法(DA)は、これを実現するための様々な手法を含むが、これらの手法は、広範囲なハイパーパラメータチューニングの必要性に悩まされ、計算コストが大幅に上昇する。 本研究では、シンクホーン発散に基づいて構築された、最小限のハイパーパラメータチューニングと計算オーバーヘッドで効果的なドメインアライメントを実現する、アウト・オブ・ザ・ボックスDAトレーニングアルゴリズムであるSIDDAを紹介する。 簡単な形状,手書き桁,実際の天文観測など,様々な複雑さの複数のシミュレーションおよび実データに対して,本手法の有効性を実証する。 SIDDAは様々なNNアーキテクチャと互換性があり、同変ニューラルネットワーク(ENN)と組み合わせて分類精度とモデルの校正を改善するのに特に適している。 SIDDAはNNの一般化能力を向上し、ラベルのないターゲットデータに対する分類精度を最大$\approx40\%向上させる。 また、二面体群$D_N$の群次数の変化に関して、EDN上でのDAの有効性について検討し、同分散の度合いが大きくなるにつれてモデル性能が向上することを示した。 最後に、SIDDAはソースデータとターゲットデータの両方のキャリブレーションを強化し、ECEとBrierスコアの桁違いの改善を実現している。 SIDDAの汎用性は、ドメインアライメントに対する自動アプローチと相まって、高度に一般化可能なモデルの開発を可能にすることで、マルチデータセットの研究を進める可能性がある。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Improving SMOTE via Fusing Conditional VAE for Data-adaptive Noise Filtering [0.5735035463793009]
  変分オートエンコーダ(VAE)を用いたSMOTEアルゴリズムの拡張フレームワークを提案する。 本稿では,VAEを用いて低次元潜在空間におけるデータ点密度を体系的に定量化し,クラスラベル情報と分類困難度を同時に統合する手法を提案する。 いくつかの不均衡データセットに関する実証的研究は、この単純なプロセスが、ディープラーニングモデルよりも従来のSMOTEアルゴリズムを革新的に改善することを示している。
  論文  参考訳（メタデータ） (2024-05-30T07:06:02Z)
• Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains [23.10912424714101]
  最近発見されたニューラル崩壊(NC)現象は、ディープ・ニューラル・ニューラルネットワークの最後の層重みが、訓練の最終段階において、いわゆるEquiangular Tight Frame (ETF) Simplexに収束することを示している。 NC特性にインスパイアされた本論文では,最終層重みをETFにより固定したDNNモデルの伝達性について検討する。
  論文  参考訳（メタデータ） (2024-02-28T15:52:30Z)
• Domain Adaptation Principal Component Analysis: base linear method for learning with out-of-distribution data [55.41644538483948]
  ドメイン適応は現代の機械学習において一般的なパラダイムである。 ドメイン適応主成分分析(DAPCA)という手法を提案する。 DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
  論文  参考訳（メタデータ） (2022-08-28T21:10:56Z)
• Domain Adaptive Nuclei Instance Segmentation and Classification via Category-aware Feature Alignment and Pseudo-labelling [65.40672505658213]
  本稿では, UDA 核インスタンス分割と分類のための新しいディープニューラルネットワークである Category-Aware 機能アライメントと Pseudo-Labelling Network (CAPL-Net) を提案する。 我々のアプローチは、最先端のUDA手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2022-07-04T07:05:06Z)
• Spatial Graph Convolutional Neural Network via Structured Subdomain Adaptation and Domain Adversarial Learning for Bearing Fault Diagnosis [0.0]
  非教師なし領域適応 (UDA) は, 作業条件の変化による異常診断において顕著な結果を示した。 本稿では,新しいサブドメイン適応グラフ畳み込みニューラルネットワーク(DSAGCN)を提案することで,課題に対処する。 まず、グラフ畳み込みニューラルネットワーク(GCNN)を用いてデータ構造をモデル化する。
  論文  参考訳（メタデータ） (2021-12-11T17:34:36Z)
• Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Noise-enhanced Supervised Autoencoder [23.860842627883187]
  我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。 NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。 また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:45:56Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Dynamic Domain Adaptation for Efficient Inference [12.713628738434881]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識転送を可能にする。 以前のdaアプローチのほとんどは、適応能力を改善するために複雑で強力なディープニューラルネットワークを活用する。 低リソースシナリオにおいて効率的なターゲット推論を同時に実現できる動的ドメイン適応(DDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-26T08:53:16Z)
• Self-Guided Adaptation: Progressive Representation Alignment for Domain Adaptive Object Detection [86.69077525494106]
  非教師なしドメイン適応(UDA)は、オブジェクト検出モデルのドメイン間ロバスト性を改善するために前例のない成功を収めた。 既存のUDA手法は、モデル学習中の瞬間的なデータ分布を無視しており、大きなドメインシフトによって特徴表現が劣化する可能性がある。 本稿では、特徴表現の整合とドメイン間のオブジェクト検出モデルの転送を目標とする自己ガイド適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-19T13:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。