論文の概要: Practicality of generalization guarantees for unsupervised domain
adaptation with neural networks
- arxiv url: http://arxiv.org/abs/2303.08720v1
- Date: Wed, 15 Mar 2023 16:05:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 13:14:56.499567
- Title: Practicality of generalization guarantees for unsupervised domain
adaptation with neural networks
- Title（参考訳）: ニューラルネットワークによる教師なし領域適応のための一般化保証の実際
- Authors: Adam Breitholtz and Fredrik D. Johansson
- Abstract要約: ドメイン適応画像分類タスクにおけるデシラタを満足させる可能性のある文献から既存の境界を評価する。
すべての境界は空で、そのサンプル一般化項は観測されたゆるさの大部分を占める。
ドメインオーバーラップを仮定すると、以前の作業の重み付け拡張が最も厳密な推定可能なバウンダリを提供する。
- 参考スコア（独自算出の注目度）: 7.951847862547378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding generalization is crucial to confidently engineer and deploy
machine learning models, especially when deployment implies a shift in the data
domain. For such domain adaptation problems, we seek generalization bounds
which are tractably computable and tight. If these desiderata can be reached,
the bounds can serve as guarantees for adequate performance in deployment.
However, in applications where deep neural networks are the models of choice,
deriving results which fulfill these remains an unresolved challenge; most
existing bounds are either vacuous or has non-estimable terms, even in
favorable conditions. In this work, we evaluate existing bounds from the
literature with potential to satisfy our desiderata on domain adaptation image
classification tasks, where deep neural networks are preferred. We find that
all bounds are vacuous and that sample generalization terms account for much of
the observed looseness, especially when these terms interact with measures of
domain shift. To overcome this and arrive at the tightest possible results, we
combine each bound with recent data-dependent PAC-Bayes analysis, greatly
improving the guarantees. We find that, when domain overlap can be assumed, a
simple importance weighting extension of previous work provides the tightest
estimable bound. Finally, we study which terms dominate the bounds and identify
possible directions for further improvement.
- Abstract（参考訳）: 一般化を理解することは、特にデプロイメントがデータドメインのシフトを意味する場合、マシンラーニングモデルを確実に設計し、デプロイする上で重要である。
このような領域適応問題に対して、計算可能かつ厳密な一般化境界を求める。
これらのデシデラタに到達できれば、バウンダリはデプロイメントにおける適切なパフォーマンスの保証となる。
しかしながら、ディープニューラルネットワークが選択のモデルであるアプリケーションでは、これらを満たす結果の導出は未解決の課題のままである。
本研究では,深層ニューラルネットワークが好まれる領域適応画像分類タスクにおいて,デシラタを満たす可能性のある文献から既存の境界を評価する。
すべての境界は空で、特にこれらの項が領域シフトの測度と相互作用する場合、サンプル一般化項は観測されたゆるさの大部分を占める。
これを克服し、最も厳しい結果に到達するために、各境界と最近のデータ依存型PAC-Bayes分析を組み合わせ、保証を大幅に改善する。
ドメインオーバーラップを仮定すると、以前の作業の重み付け拡張が最も厳密な推定可能な境界を提供する。
最後に,どの用語が境界を支配するかを調べ,さらなる改善の可能な方向を特定する。
関連論文リスト
- Constrained Maximum Cross-Domain Likelihood for Domain Generalization [14.91361835243516]
ドメインの一般化は、複数のソースドメイン上で一般化可能なモデルを学ぶことを目的としている。
本稿では,異なる領域の後方分布間のKL偏差を最小限に抑える新しい領域一般化法を提案する。
Digits-DG、PACS、Office-Home、MiniDomainNetの4つの標準ベンチマークデータセットの実験は、我々のメソッドの優れたパフォーマンスを強調している。
論文 参考訳（メタデータ） (2022-10-09T03:41:02Z) - Probable Domain Generalization via Quantile Risk Minimization [92.25034304883248]
ドメインの一般化は、目に見えないテスト分布でうまく機能する予測子を求める。
DGは最悪の問題でも平均的な問題でもない、むしろ確率的な問題だ、と我々は主張する。
我々のアルゴリズムは、実データと合成データで最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2022-07-20T14:41:09Z) - Generalizing to Unseen Domains with Wasserstein Distributional
Robustness under Limited Source Knowledge [20.943456253048033]
ドメインの一般化は、目に見えないターゲットドメインでうまく機能する普遍的なモデルを学ぶことを目的としている。
We propose a novel domain generalization framework called Wasserstein Distributionally Robust Domain Generalization (WDRDG)。
本研究では、最適輸送を利用したテスト時間適応モジュールを開発し、未確認対象ドメインとソースドメインの関係を定量化する。
論文 参考訳（メタデータ） (2022-07-11T14:46:50Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Unsupervised Domain Generalization for Person Re-identification: A
Domain-specific Adaptive Framework [58.577850547569135]
ドメイン一般化(DG)は近年,人物再同定(ReID)において注目されている。
既存のメソッドは通常、ソースドメインにラベルを付ける必要があります。
本稿では、単純で効率的なドメイン固有適応化フレームワークを提案し、適応正規化モジュールで実現する。
論文 参考訳（メタデータ） (2021-11-30T02:35:51Z) - Shallow Features Guide Unsupervised Domain Adaptation for Semantic
Segmentation at Class Boundaries [21.6953660626021]
ディープニューラルネットワークは、合成から現実への適応を行う際に、新しいドメインに対して一般化することができない。
本研究では,より鋭い予測を得られるような,新しい低レベル適応戦略を提案する。
また、自己学習に擬似ラベルを用いる場合、意味境界に典型的なノイズを緩和する効果的なデータ拡張も導入する。
論文 参考訳（メタデータ） (2021-10-06T15:05:48Z) - Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring
Network [58.05473757538834]
本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。
3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
論文 参考訳（メタデータ） (2021-07-27T14:47:24Z) - SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of
Invariances in Domain Generalization [7.253255826783766]
ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。
SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
論文 参考訳（メタデータ） (2021-06-04T05:20:54Z) - A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。
本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。
2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
論文 参考訳（メタデータ） (2021-05-09T21:33:27Z) - Debona: Decoupled Boundary Network Analysis for Tighter Bounds and
Faster Adversarial Robustness Proofs [2.1320960069210484]
ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。
このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。
畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
論文 参考訳（メタデータ） (2020-06-16T10:00:33Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳（メタデータ） (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。