論文の概要: On-Device Domain Generalization

• arxiv url: http://arxiv.org/abs/2209.07521v1
• Date: Thu, 15 Sep 2022 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 11:51:26.990899
• Title: On-Device Domain Generalization
• Title（参考訳）: オンデバイスドメインの一般化
• Authors: Kaiyang Zhou, Yuanhan Zhang, Yuhang Zang, Jingkang Yang, Chen Change Loy, Ziwei Liu
• Abstract要約: ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。 知識蒸留がこの問題の解決の有力な候補であることがわかった。 本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
• 参考スコア（独自算出の注目度）: 93.79736882489982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a systematic study of domain generalization (DG) for tiny neural networks, a problem that is critical to on-device machine learning applications but has been overlooked in the literature where research has been focused on large models only. Tiny neural networks have much fewer parameters and lower complexity, and thus should not be trained the same way as their large counterparts for DG applications. We find that knowledge distillation is a strong candidate for solving the problem: it outperforms state-of-the-art DG methods that were developed using large models with a large margin. Moreover, we observe that the teacher-student performance gap on test data with domain shift is bigger than that on in-distribution data. To improve DG for tiny neural networks without increasing the deployment cost, we propose a simple idea called out-of-distribution knowledge distillation (OKD), which aims to teach the student how the teacher handles (synthetic) out-of-distribution data and is proved to be a promising framework for solving the problem. We also contribute a scalable method of creating DG datasets, called DOmain Shift in COntext (DOSCO), which can be applied to broad data at scale without much human effort. Code and models are released at \url{https://github.com/KaiyangZhou/on-device-dg}.
• Abstract（参考訳）: 我々は、デバイス上の機械学習アプリケーションにとって重要な問題であるが、大規模モデルのみに焦点を当てた研究で見過ごされてきた、小さなニューラルネットワークのためのドメイン一般化(DG)の体系的研究について述べる。 小さなニューラルネットワークはパラメータがはるかに少なく、複雑さが低いため、dgアプリケーション用の大きなニューラルネットワークと同じ方法でトレーニングするべきではない。 知識蒸留は、大きなマージンを持つ大モデルを用いて開発された最先端のDG手法よりも優れている。 さらに, ドメインシフトを伴う試験データにおける教師・教師間性能差は, 分布データよりも大きいことが観察された。 小型ニューラルネットワークのDGを展開コストを増大させることなく向上させるため,教師が(合成)分配データをどのように扱うかを教えることを目的とした,アウト・オブ・ディストリビューション知識蒸留(OKD)と呼ばれる簡単なアイデアを提案する。 我々はまた、DGデータセットを作成するためのスケーラブルな方法であるDOmain Shift in COntext(DOSCO)も提供しています。 コードとモデルは \url{https://github.com/KaiyangZhou/on-device-dg} でリリースされる。

関連論文リスト

• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• CNN Feature Map Augmentation for Single-Source Domain Generalization [6.053629733936548]
  ドメイン・ジェネリゼーション(DG)はここ数年で大きな注目を集めている。 DGの目標は、トレーニング中に利用可能なものと異なるデータ分散を提示した場合、引き続き正常に機能するモデルを作成することだ。 単一ソースDG画像分類設定における畳み込みニューラルネットワークアーキテクチャの代替正則化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T08:48:17Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• Online Cross-Layer Knowledge Distillation on Graph Neural Networks with Deep Supervision [6.8080936803807734]
  グラフニューラルネットワーク(GNN)は、学術と産業の両方で最も人気のある研究トピックの1つとなっている。 大規模なデータセットは、限られたリソースを持つエッジデバイスにGNNをデプロイする上で、大きな課題となっている。 本稿ではAlignahead++と呼ばれる新しいオンライン知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-25T03:21:20Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
  本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。 NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。 学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-06T02:53:31Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Domain-Irrelevant Representation Learning for Unsupervised Domain Generalization [22.980607134596077]
  ドメインの一般化(Domain Generalization, DG)は、ソースドメインの集合で訓練されたモデルが、見えないターゲットドメインでより良く一般化することを支援することを目的としている。 ラベルのないデータははるかにアクセスしやすいが、教師なし学習がドメイン間の深いモデルの一般化にどのように役立つかを探究する。 本研究では,未ラベルデータ内の不均一性に対処するために,ドメイン関連無教師学習(DIUL)手法を提案する。
  論文  参考訳（メタデータ） (2021-07-13T16:20:50Z)
• Wide Network Learning with Differential Privacy [7.453881927237143]
  現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。 プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。 同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-01T20:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。