論文の概要: Diversified Dynamic Routing for Vision Tasks

• arxiv url: http://arxiv.org/abs/2209.13071v1
• Date: Mon, 26 Sep 2022 23:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 15:34:59.557207
• Title: Diversified Dynamic Routing for Vision Tasks
• Title（参考訳）: 視覚タスクのための多様な動的ルーティング
• Authors: Botos Csaba, Adel Bibi, Yanwei Li, Philip Torr, Ser-Nam Lim
• Abstract要約: 本稿では,各レイヤが専門家の集合で構成された新しいアーキテクチャを提案する。 本手法では,データのパーティショニングに関する課題を解決するために,モデルを明示的に訓練する。 都市景観のセマンティックセグメンテーションとMS-COCOのオブジェクト検出とインスタンスセグメンテーションについていくつかの実験を行った。
• 参考スコア（独自算出の注目度）: 36.199659460868496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models for vision tasks are trained on large datasets under the assumption that there exists a universal representation that can be used to make predictions for all samples. Whereas high complexity models are proven to be capable of learning such representations, a mixture of experts trained on specific subsets of the data can infer the labels more efficiently. However using mixture of experts poses two new problems, namely (i) assigning the correct expert at inference time when a new unseen sample is presented. (ii) Finding the optimal partitioning of the training data, such that the experts rely the least on common features. In Dynamic Routing (DR) a novel architecture is proposed where each layer is composed of a set of experts, however without addressing the two challenges we demonstrate that the model reverts to using the same subset of experts. In our method, Diversified Dynamic Routing (DivDR) the model is explicitly trained to solve the challenge of finding relevant partitioning of the data and assigning the correct experts in an unsupervised approach. We conduct several experiments on semantic segmentation on Cityscapes and object detection and instance segmentation on MS-COCO showing improved performance over several baselines.
• Abstract（参考訳）: ビジョンタスクのためのディープラーニングモデルは、すべてのサンプルの予測に使用できる普遍表現が存在するという仮定の下で、大規模なデータセットでトレーニングされる。 高複雑性モデルはそのような表現を学習できることが証明されているが、データの特定のサブセットで訓練された専門家の混合はラベルをより効率的に推測することができる。 しかし 専門家が混ざり合うことで 2つの新しい問題が生じます (i)新しい未知のサンプルが提示されたとき、推論時に正しい専門家を割り当てる。 (ii)訓練データの最適な分割を見つけることは、専門家が共通の特徴にほとんど依存しないようにすること。 動的ルーティング(dr)では、各レイヤが専門家のセットで構成された、新しいアーキテクチャが提案されていますが、2つの課題に対処せずに、モデルが専門家の同じサブセットを使用するように戻すことを実証します。 分散動的ルーティング(divdr)では,データ分割に関する課題を解決するためにモデルを明示的に訓練し,教師なしのアプローチで適切な専門家を割り当てる。 都市景観におけるセマンティックセグメンテーションと,MS-COCOにおけるオブジェクト検出とインスタンスセグメンテーションについて,複数のベースライン上での性能向上を示す実験を行った。

関連論文リスト

• Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging [36.0133566024214]
  Upcycling Instruction Tuning (UpIT) は、密度の高い事前学習されたモデルをMoE命令モデルにチューニングするためのデータ効率のよいアプローチである。 MoEモデルの各専門家が期待通りに機能するように、我々は、ルータを事前最適化するために、各専門家が抽出する少数のシードデータを選択する。
  論文  参考訳（メタデータ） (2024-10-02T14:48:22Z)
• Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
  本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。 提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
  論文  参考訳（メタデータ） (2024-09-23T21:27:26Z)
• RouterRetriever: Exploring the Benefits of Routing over Multiple Expert Embedding Models [58.987116118425995]
  本稿では,複数のドメインの専門家を対象とする検索モデルであるReuterRetrieverを紹介する。 軽量で、追加のトレーニングなしでエキスパートの追加や削除が簡単にできる。 複数のドメイン固有の専門的な埋め込みモデルを使用することの利点を示す最初の研究である。
  論文  参考訳（メタデータ） (2024-09-04T13:16:55Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)
• Pre-trained Recommender Systems: A Causal Debiasing Perspective [19.712997823535066]
  本研究では,異なるドメインから抽出した汎用ユーザ・イテムインタラクションデータをトレーニングすることで,ユニバーサルインタラクションパターンをキャプチャする汎用レコメンデータを開発する。 実験により,提案モデルにより,ゼロショットと少数ショットの学習環境での推薦性能が大幅に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T03:37:32Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
  専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。 入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。 しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
  論文  参考訳（メタデータ） (2022-04-20T01:40:19Z)
• SuperCone: Modeling Heterogeneous Experts with Concept Meta-learning for Unified Predictive Segments System [8.917697023052257]
  統合述語セグメントシステムであるSuperConeについて述べる。 これは、各ユーザの異質なデジタルフットプリントを要約するフラットな概念表現の上に構築される。 様々な述語セグメントタスクにおいて、最先端のレコメンデーションとランキングアルゴリズムを上回ります。
  論文  参考訳（メタデータ） (2022-03-09T04:11:39Z)
• D-LEMA: Deep Learning Ensembles from Multiple Annotations -- Application to Skin Lesion Segmentation [14.266037264648533]
  画像に対するアノテーションの意見のコレクションを活用することは、ゴールド基準を推定する興味深い方法です。 深層モデル学習時のアノテーションの不一致に対処する手法を提案する。
  論文  参考訳（メタデータ） (2020-12-14T01:51:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。