論文の概要: Slimmable Domain Adaptation
- arxiv url: http://arxiv.org/abs/2206.06620v1
- Date: Tue, 14 Jun 2022 06:28:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 14:31:56.869956
- Title: Slimmable Domain Adaptation
- Title(参考訳): スリム化可能なドメイン適応
- Authors: Rang Meng, Weijie Chen, Shicai Yang, Jie Song, Luojun Lin, Di Xie,
Shiliang Pu, Xinchao Wang, Mingli Song, Yueting Zhuang
- Abstract要約: 重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
- 参考スコア(独自算出の注目度): 112.19652651687402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vanilla unsupervised domain adaptation methods tend to optimize the model
with fixed neural architecture, which is not very practical in real-world
scenarios since the target data is usually processed by different
resource-limited devices. It is therefore of great necessity to facilitate
architecture adaptation across various devices. In this paper, we introduce a
simple framework, Slimmable Domain Adaptation, to improve cross-domain
generalization with a weight-sharing model bank, from which models of different
capacities can be sampled to accommodate different accuracy-efficiency
trade-offs. The main challenge in this framework lies in simultaneously
boosting the adaptation performance of numerous models in the model bank. To
tackle this problem, we develop a Stochastic EnsEmble Distillation method to
fully exploit the complementary knowledge in the model bank for inter-model
interaction. Nevertheless, considering the optimization conflict between
inter-model interaction and intra-model adaptation, we augment the existing
bi-classifier domain confusion architecture into an Optimization-Separated
Tri-Classifier counterpart. After optimizing the model bank, architecture
adaptation is leveraged via our proposed Unsupervised Performance Evaluation
Metric. Under various resource constraints, our framework surpasses other
competing approaches by a very large margin on multiple benchmarks. It is also
worth emphasizing that our framework can preserve the performance improvement
against the source-only model even when the computing complexity is reduced to
$1/64$. Code will be available at https://github.com/hikvision-research/SlimDA.
- Abstract(参考訳): バニラ非教師付きドメイン適応手法は、固定されたニューラルネットワークでモデルを最適化する傾向があるが、これは現実のシナリオでは実用的ではない。
したがって、様々なデバイスにまたがるアーキテクチャ適応を促進することが非常に必要である。
本稿では,重み共有型モデルバンクによるクロスドメイン一般化を改善するための,簡易なフレームワークであるスリム化可能なドメイン適応を提案する。
このフレームワークの主な課題は、モデルバンクにおける多数のモデルの適応性能を同時に向上させることである。
モデル間相互作用のためのモデルバンクにおける相補的知識を完全に活用する確率的エンサンブル蒸留法を開発した。
しかしながら、モデル間相互作用とモデル内適応の最適化競合を考慮すると、既存の二クラス化ドメイン混乱アーキテクチャを最適化分離三クラス化アーキテクチャに拡張する。
モデルバンクを最適化した後、提案する教師なし性能評価指標を用いてアーキテクチャ適応を行う。
様々なリソース制約の下で、我々のフレームワークは他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回っている。
また、計算複雑性が1/64ドルに削減された場合でも、我々のフレームワークはソースのみのモデルに対するパフォーマンス改善を維持できる点を強調しておきましょう。
コードはhttps://github.com/hikvision-research/slimdaで入手できる。
関連論文リスト
- Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
論文 参考訳(メタデータ) (2023-10-18T17:56:24Z) - Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。
本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
論文 参考訳(メタデータ) (2022-10-19T08:41:19Z) - Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous
Learning [18.601226898819476]
本稿では,新しい自動エンコーダベースのドメイン適応モデルと同時学習方式を組み合わせた半教師付きドメイン適応フレームワークを提案する。
我々のフレームワークは、ソースとターゲットのオートエンコーダの両方をトレーニングすることで、強力な分散マッチング特性を有する。
論文 参考訳(メタデータ) (2022-10-18T00:10:11Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - SlimSeg: Slimmable Semantic Segmentation with Boundary Supervision [54.16430358203348]
本稿では,単純なスリム化可能なセマンティックセマンティックセマンティクス(SlimSeg)法を提案する。
提案するSlimSegは,様々な主流ネットワークを用いて,計算コストの動的調整と性能向上を実現するフレキシブルなモデルを生成することができることを示す。
論文 参考訳(メタデータ) (2022-07-13T14:41:05Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-26T09:08:38Z) - AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain
Adaptation [4.793219747021116]
我々は、ドメイン適応のためのアーキテクチャレベルの視点と分析を提供するために、ニューラルアーキテクチャサーチ(NAS)を実行する。
本稿では,最大平均誤差と地域重み付きエントロピーを用いて,このギャップを埋めて精度を推定する手法を提案する。
論文 参考訳(メタデータ) (2021-06-24T17:59:02Z) - Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。
初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。
提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文 参考訳(メタデータ) (2021-06-04T14:39:03Z) - Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders [22.54887526392739]
本稿では, 最適輸送に基づくディープラーニング階層を用いたモデル学習手法を提案する。
提案手法は, VAEの「潜伏変数崩壊」問題を回避することで, 生成モデルをその深部潜伏階層を完全に活用することを可能にした。
論文 参考訳(メタデータ) (2020-10-07T15:04:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。