論文の概要: Slimmable Domain Adaptation

• arxiv url: http://arxiv.org/abs/2206.06620v1
• Date: Tue, 14 Jun 2022 06:28:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 14:31:56.869956
• Title: Slimmable Domain Adaptation
• Title（参考訳）: スリム化可能なドメイン適応
• Authors: Rang Meng, Weijie Chen, Shicai Yang, Jie Song, Luojun Lin, Di Xie, Shiliang Pu, Xinchao Wang, Mingli Song, Yueting Zhuang
• Abstract要約: 重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
• 参考スコア（独自算出の注目度）: 112.19652651687402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vanilla unsupervised domain adaptation methods tend to optimize the model with fixed neural architecture, which is not very practical in real-world scenarios since the target data is usually processed by different resource-limited devices. It is therefore of great necessity to facilitate architecture adaptation across various devices. In this paper, we introduce a simple framework, Slimmable Domain Adaptation, to improve cross-domain generalization with a weight-sharing model bank, from which models of different capacities can be sampled to accommodate different accuracy-efficiency trade-offs. The main challenge in this framework lies in simultaneously boosting the adaptation performance of numerous models in the model bank. To tackle this problem, we develop a Stochastic EnsEmble Distillation method to fully exploit the complementary knowledge in the model bank for inter-model interaction. Nevertheless, considering the optimization conflict between inter-model interaction and intra-model adaptation, we augment the existing bi-classifier domain confusion architecture into an Optimization-Separated Tri-Classifier counterpart. After optimizing the model bank, architecture adaptation is leveraged via our proposed Unsupervised Performance Evaluation Metric. Under various resource constraints, our framework surpasses other competing approaches by a very large margin on multiple benchmarks. It is also worth emphasizing that our framework can preserve the performance improvement against the source-only model even when the computing complexity is reduced to $1/64$. Code will be available at https://github.com/hikvision-research/SlimDA.
• Abstract（参考訳）: バニラ非教師付きドメイン適応手法は、固定されたニューラルネットワークでモデルを最適化する傾向があるが、これは現実のシナリオでは実用的ではない。 したがって、様々なデバイスにまたがるアーキテクチャ適応を促進することが非常に必要である。 本稿では,重み共有型モデルバンクによるクロスドメイン一般化を改善するための,簡易なフレームワークであるスリム化可能なドメイン適応を提案する。 このフレームワークの主な課題は、モデルバンクにおける多数のモデルの適応性能を同時に向上させることである。 モデル間相互作用のためのモデルバンクにおける相補的知識を完全に活用する確率的エンサンブル蒸留法を開発した。 しかしながら、モデル間相互作用とモデル内適応の最適化競合を考慮すると、既存の二クラス化ドメイン混乱アーキテクチャを最適化分離三クラス化アーキテクチャに拡張する。 モデルバンクを最適化した後、提案する教師なし性能評価指標を用いてアーキテクチャ適応を行う。 様々なリソース制約の下で、我々のフレームワークは他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回っている。 また、計算複雑性が1/64ドルに削減された場合でも、我々のフレームワークはソースのみのモデルに対するパフォーマンス改善を維持できる点を強調しておきましょう。 コードはhttps://github.com/hikvision-research/slimdaで入手できる。

関連論文リスト

• HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models [28.993221775758702]
  モデルマージ(英: Model merging)は、複数の大きな事前訓練されたモデルを単一のモデルに組み合わせ、パフォーマンスを向上し、タスク適応性を高める手法である。 本稿では,よりフレキシブルで包括的なモデルマージ技術への大きな進歩を示す。 我々は、重みベクトルのオフラインサンプリングを用いてポリシーと価値ネットワークを訓練し、マージ戦略のオンライン最適化に使用される。
  論文  参考訳（メタデータ） (2024-09-27T16:31:31Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous Learning [18.601226898819476]
  本稿では,新しい自動エンコーダベースのドメイン適応モデルと同時学習方式を組み合わせた半教師付きドメイン適応フレームワークを提案する。 我々のフレームワークは、ソースとターゲットのオートエンコーダの両方をトレーニングすることで、強力な分散マッチング特性を有する。
  論文  参考訳（メタデータ） (2022-10-18T00:10:11Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• SlimSeg: Slimmable Semantic Segmentation with Boundary Supervision [54.16430358203348]
  本稿では,単純なスリム化可能なセマンティックセマンティックセマンティクス(SlimSeg)法を提案する。 提案するSlimSegは,様々な主流ネットワークを用いて,計算コストの動的調整と性能向上を実現するフレキシブルなモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-13T14:41:05Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain Adaptation [4.793219747021116]
  我々は、ドメイン適応のためのアーキテクチャレベルの視点と分析を提供するために、ニューラルアーキテクチャサーチ(NAS)を実行する。 本稿では,最大平均誤差と地域重み付きエントロピーを用いて,このギャップを埋めて精度を推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-24T17:59:02Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。