論文の概要: DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets

• arxiv url: http://arxiv.org/abs/2311.04894v1
• Date: Wed, 8 Nov 2023 18:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 14:46:06.638426
• Title: DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
• Title（参考訳）: DAMEX:Mix of Datasetの視覚的理解のためのDataset-aware Mixture-of-Experts
• Authors: Yash Jain, Harkirat Behl, Zsolt Kira, Vibhav Vineet
• Abstract要約: 本稿では,データセット・アウェア・ミックス・オブ・エクササイズ,DAMEXを提案する。 データセットトークンをマップされた専門家にルーティングすることを学ぶことで、データセットのエキスパートになるように専門家を訓練します。 Universal Object-Detection Benchmarkの実験では、既存の最先端技術よりも優れています。
• 参考スコア（独自算出の注目度）: 34.780870585656395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Construction of a universal detector poses a crucial question: How can we most effectively train a model on a large mixture of datasets? The answer lies in learning dataset-specific features and ensembling their knowledge but do all this in a single model. Previous methods achieve this by having separate detection heads on a common backbone but that results in a significant increase in parameters. In this work, we present Mixture-of-Experts as a solution, highlighting that MoEs are much more than a scalability tool. We propose Dataset-Aware Mixture-of-Experts, DAMEX where we train the experts to become an `expert' of a dataset by learning to route each dataset tokens to its mapped expert. Experiments on Universal Object-Detection Benchmark show that we outperform the existing state-of-the-art by average +10.2 AP score and improve over our non-MoE baseline by average +2.0 AP score. We also observe consistent gains while mixing datasets with (1) limited availability, (2) disparate domains and (3) divergent label sets. Further, we qualitatively show that DAMEX is robust against expert representation collapse.
• Abstract（参考訳）: ユビキタス検出器の構築は、重要な疑問を呈する: 大規模なデータセットでモデルをいかに効果的にトレーニングできるか? 答えは、データセット固有の特徴を学習し、知識をまとめることにあるが、これらすべてを単一のモデルで行う。 従来の手法では、共通のバックボーン上に別個の検出ヘッドを持つことでこれを実現するが、パラメータが大幅に増加する。 本稿では、Mixture-of-Expertsをソリューションとして提示し、MoEsがスケーラビリティツール以上のものであることを強調します。 そこでは,データセットトークンをマップされた専門家にルーティングすることで,データセットの‘エキスパート’になるように専門家を訓練する。 また,Universal Object-Detection Benchmark実験の結果,既存の技術水準を平均+10.2APスコアで上回り,平均2.0APスコアで非MoEベースラインを上回りました。 また,(1)限られた可用性,(2)異なるドメイン,(3)異なるラベル集合とデータセットを混合しながら,一貫性のあるゲインを観察した。 さらに,DAMEXは専門家表現の崩壊に対して頑健であることを示す。

関連論文リスト

• Anno-incomplete Multi-dataset Detection [67.69438032767613]
  我々は「不完全なマルチデータセット検出」という新しい問題を提案する。 複数の注釈付きデータセットで全ての対象カテゴリを正確に検出できるエンドツーエンドのマルチタスク学習アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2024-08-29T03:58:21Z)
• BlendX: Complex Multi-Intent Detection with Blended Patterns [4.852816974803059]
  BlendXは、前者よりも多様なパターンを特徴とする洗練されたデータセットのスイートです。 データセット構築には,ルールベースと生成ツール – OpenAIのChatGPT – の両方を使用します。 BlendXの実験によると、最先端のMIDモデルは、新しいデータセットがもたらす課題に苦戦している。
  論文  参考訳（メタデータ） (2024-03-27T06:13:04Z)
• ATEAM: Knowledge Integration from Federated Datasets for Vehicle Feature Extraction using Annotation Team of Experts [1.947162363730401]
  本稿では,アノテーションチームであるATEAMを提案し,データ横断ラベリングと不整合アノテーションスキーマの統合を行う。 統合データセットは,VMMRと車両のリIDにおいて,モデルアーキテクチャの変更を伴わず,優れた精度を実現する上で有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-16T18:33:45Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
  セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。 一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
  論文  参考訳（メタデータ） (2021-12-27T16:16:35Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• ROAM: Random Layer Mixup for Semi-Supervised Learning in Medical Imaging [43.26668942258135]
  医療画像のセグメンテーションは、機械学習の手法が抱える大きな課題の1つだ。 我々はRandOm lAyer MixupのROAMを提案する。 ROAMは、全脳セグメンテーションに対してそれぞれ2.40%と16.50%の相対的な改善を施した、完全に監督された(89.5%)と半監督された(87.0%)設定のSOTA(State-of-the-art)を達成している。
  論文  参考訳（メタデータ） (2020-03-20T18:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。