論文の概要: UDON: Universal Dynamic Online distillatioN for generic image representations

• arxiv url: http://arxiv.org/abs/2406.08332v1
• Date: Wed, 12 Jun 2024 15:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 16:16:39.851762
• Title: UDON: Universal Dynamic Online distillatioN for generic image representations
• Title（参考訳）: UDON:汎用画像表現のためのユニバーサルダイナミックオンライン蒸留器
• Authors: Nikolaos-Antonios Ypsilantis, Kaifeng Chen, André Araujo, Ondřej Chum,
• Abstract要約: ユニバーサル画像表現は、現実世界の微粒化とインスタンスレベルの認識アプリケーションの実現に不可欠である。 既存のメソッドは、異なるドメイン間でのデータ分散の違いを無視しながら、重要なドメイン固有の知識をキャプチャできない。 UDON(Universal Dynamic Online DistillatioN)と呼ばれる新しい学習手法を導入する。 UDONでは、各教師が1つのドメインに特化して、詳細なドメイン固有の知識を学生の普遍的な埋め込みに伝達するマルチティーチンガー蒸留を採用している。
• 参考スコア（独自算出の注目度）: 5.487134463783365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal image representations are critical in enabling real-world fine-grained and instance-level recognition applications, where objects and entities from any domain must be identified at large scale. Despite recent advances, existing methods fail to capture important domain-specific knowledge, while also ignoring differences in data distribution across different domains. This leads to a large performance gap between efficient universal solutions and expensive approaches utilising a collection of specialist models, one for each domain. In this work, we make significant strides towards closing this gap, by introducing a new learning technique, dubbed UDON (Universal Dynamic Online DistillatioN). UDON employs multi-teacher distillation, where each teacher is specialized in one domain, to transfer detailed domain-specific knowledge into the student universal embedding. UDON's distillation approach is not only effective, but also very efficient, by sharing most model parameters between the student and all teachers, where all models are jointly trained in an online manner. UDON also comprises a sampling technique which adapts the training process to dynamically allocate batches to domains which are learned slower and require more frequent processing. This boosts significantly the learning of complex domains which are characterised by a large number of classes and long-tail distributions. With comprehensive experiments, we validate each component of UDON, and showcase significant improvements over the state of the art in the recent UnED benchmark. Code: https://github.com/nikosips/UDON .
• Abstract（参考訳）: 普遍的な画像表現は、任意のドメインのオブジェクトやエンティティを大規模に識別する必要がある、現実世界の微粒化およびインスタンスレベルの認識アプリケーションを可能にするために重要である。 最近の進歩にもかかわらず、既存のメソッドは重要なドメイン固有の知識を捉えることができず、異なるドメイン間でのデータ分散の違いも無視している。 これにより、効率的なユニバーサルソリューションと、ドメイン毎に1つずつ専門的なモデルのコレクションを活用する高価なアプローチの間に、大きなパフォーマンスのギャップが生じる。 本研究では,UDON (Universal Dynamic Online DistillatioN) と呼ばれる新たな学習手法を導入することで,このギャップを解消するために大きな努力を払っている。 UDONでは、各教師が1つのドメインに特化して、詳細なドメイン固有の知識を学生の普遍的な埋め込みに伝達するマルチティーチンガー蒸留を採用している。 UDONの蒸留アプローチは、学生と全教師の間でモデルパラメータのほとんどを共有し、全てのモデルがオンラインで共同で訓練されることによって効果的であるだけでなく、非常に効率的である。 UDONはまた、学習が遅く、より頻繁な処理を必要とするドメインにバッチを動的に割り当てるために、トレーニングプロセスに適応するサンプリング技術も備えている。 これにより、多くのクラスと長い尾の分布によって特徴づけられる複雑な領域の学習が著しく促進される。 総合的な実験により、UDONの各コンポーネントを検証するとともに、最近のUnEDベンチマークで最先端よりも大幅に改善されていることを示す。 コード:https://github.com/nikosips/UDON

関連論文リスト

• DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning [20.51179258856028]
  フェデレートラーニング(FL)は、分散データから学ぶための強力なパラダイムとして登場した。 既存のFLメソッドの多くは、トレーニング中にドメインラベルが提供されると仮定し、その評価はドメインの数に明確な制約を課している。 本稿では,ドメイン一般化のための適応的なプロンプトを分散的に学習することで,上記の制約に対処するDistangled Prompt Tuning(DiPrompT)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T15:58:15Z)
• Distilling Universal and Joint Knowledge for Cross-Domain Model Compression on Time Series Data [18.41222232863567]
  ドメイン間モデル圧縮のためのUniversal and joint knowledge distillation (UNI-KD) と呼ばれる新しいエンドツーエンドフレームワークを提案する。 特に、ソースドメインとターゲットドメインにまたがる普遍的特徴レベル知識と、教師から生徒モデルに共通する共同ロジットレベル知識の両方を、逆学習方式で転送することを提案する。
  論文  参考訳（メタデータ） (2023-07-07T01:48:02Z)
• Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts [33.21435044949033]
  既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。 本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-08T02:28:10Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Variational Attention: Propagating Domain-Specific Knowledge for Multi-Domain Learning in Crowd Counting [75.80116276369694]
  群集カウントでは, 激しいラベル付けの問題により, 新しい大規模データセットを収集する難易度が知覚される。 マルチドメイン共同学習を活用し,DKPNet(Domain-specific Knowledge Propagating Network)を提案する。 主に、異なるドメインに対する注意分布を明示的にモデル化する、新しい変動注意法(VA)技術を提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:06:37Z)
• Multi-Domain Adversarial Feature Generalization for Person Re-Identification [52.835955258959785]
  マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。 複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。 また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
  論文  参考訳（メタデータ） (2020-11-25T08:03:15Z)
• DomainMix: Learning Generalizable Person Re-Identification Without Human Annotations [89.78473564527688]
  本稿では,ラベル付き合成データセットとラベル付き実世界のデータセットを用いてユニバーサルモデルをトレーニングする方法を示す。 このように、人間のアノテーションはもはや不要であり、大規模で多様な現実世界のデータセットにスケーラブルである。 実験結果から,提案手法は完全な人間のアノテーションで訓練されたアノテーションとほぼ同等であることがわかった。
  論文  参考訳（メタデータ） (2020-11-24T08:15:53Z)
• Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog [70.79442700890843]
  本稿では,対象ドメインと各ドメインの関連性を自動的に活用する新しい動的核融合ネットワーク(DF-Net)を提案する。 トレーニングデータが少ないと、平均13.9%の事前最良モデルを上回り、転送可能性を示す。
  論文  参考訳（メタデータ） (2020-04-23T08:17:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。