論文の概要: Slimmable Domain Adaptation

• arxiv url: http://arxiv.org/abs/2206.06620v1
• Date: Tue, 14 Jun 2022 06:28:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 14:31:56.869956
• Title: Slimmable Domain Adaptation
• Title（参考訳）: スリム化可能なドメイン適応
• Authors: Rang Meng, Weijie Chen, Shicai Yang, Jie Song, Luojun Lin, Di Xie, Shiliang Pu, Xinchao Wang, Mingli Song, Yueting Zhuang
• Abstract要約: 重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
• 参考スコア（独自算出の注目度）: 112.19652651687402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vanilla unsupervised domain adaptation methods tend to optimize the model with fixed neural architecture, which is not very practical in real-world scenarios since the target data is usually processed by different resource-limited devices. It is therefore of great necessity to facilitate architecture adaptation across various devices. In this paper, we introduce a simple framework, Slimmable Domain Adaptation, to improve cross-domain generalization with a weight-sharing model bank, from which models of different capacities can be sampled to accommodate different accuracy-efficiency trade-offs. The main challenge in this framework lies in simultaneously boosting the adaptation performance of numerous models in the model bank. To tackle this problem, we develop a Stochastic EnsEmble Distillation method to fully exploit the complementary knowledge in the model bank for inter-model interaction. Nevertheless, considering the optimization conflict between inter-model interaction and intra-model adaptation, we augment the existing bi-classifier domain confusion architecture into an Optimization-Separated Tri-Classifier counterpart. After optimizing the model bank, architecture adaptation is leveraged via our proposed Unsupervised Performance Evaluation Metric. Under various resource constraints, our framework surpasses other competing approaches by a very large margin on multiple benchmarks. It is also worth emphasizing that our framework can preserve the performance improvement against the source-only model even when the computing complexity is reduced to $1/64$. Code will be available at https://github.com/hikvision-research/SlimDA.
• Abstract（参考訳）: バニラ非教師付きドメイン適応手法は、固定されたニューラルネットワークでモデルを最適化する傾向があるが、これは現実のシナリオでは実用的ではない。 したがって、様々なデバイスにまたがるアーキテクチャ適応を促進することが非常に必要である。 本稿では,重み共有型モデルバンクによるクロスドメイン一般化を改善するための,簡易なフレームワークであるスリム化可能なドメイン適応を提案する。 このフレームワークの主な課題は、モデルバンクにおける多数のモデルの適応性能を同時に向上させることである。 モデル間相互作用のためのモデルバンクにおける相補的知識を完全に活用する確率的エンサンブル蒸留法を開発した。 しかしながら、モデル間相互作用とモデル内適応の最適化競合を考慮すると、既存の二クラス化ドメイン混乱アーキテクチャを最適化分離三クラス化アーキテクチャに拡張する。 モデルバンクを最適化した後、提案する教師なし性能評価指標を用いてアーキテクチャ適応を行う。 様々なリソース制約の下で、我々のフレームワークは他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回っている。 また、計算複雑性が1/64ドルに削減された場合でも、我々のフレームワークはソースのみのモデルに対するパフォーマンス改善を維持できる点を強調しておきましょう。 コードはhttps://github.com/hikvision-research/slimdaで入手できる。

関連論文リスト

• STAR: Synthesis of Tailored Architectures [61.080157488857516]
  本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。 提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。 STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
  論文  参考訳（メタデータ） (2024-11-26T18:42:42Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• Dependency Structure Search Bayesian Optimization for Decision Making Models [29.95525433889418]
  本稿では,役割の概念を通じてエージェント相互作用のダイナミクスをモデル化する,コンパクトな多層アーキテクチャを提案する。 不正な報奨や軽微な報奨に強い経験的結果を示した。
  論文  参考訳（メタデータ） (2023-08-01T15:56:24Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous Learning [18.601226898819476]
  本稿では,新しい自動エンコーダベースのドメイン適応モデルと同時学習方式を組み合わせた半教師付きドメイン適応フレームワークを提案する。 我々のフレームワークは、ソースとターゲットのオートエンコーダの両方をトレーニングすることで、強力な分散マッチング特性を有する。
  論文  参考訳（メタデータ） (2022-10-18T00:10:11Z)
• SlimSeg: Slimmable Semantic Segmentation with Boundary Supervision [54.16430358203348]
  本稿では,単純なスリム化可能なセマンティックセマンティックセマンティクス(SlimSeg)法を提案する。 提案するSlimSegは,様々な主流ネットワークを用いて,計算コストの動的調整と性能向上を実現するフレキシブルなモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-13T14:41:05Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain Adaptation [4.793219747021116]
  我々は、ドメイン適応のためのアーキテクチャレベルの視点と分析を提供するために、ニューラルアーキテクチャサーチ(NAS)を実行する。 本稿では,最大平均誤差と地域重み付きエントロピーを用いて,このギャップを埋めて精度を推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-24T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。