論文の概要: Towards a Universal Gating Network for Mixtures of Experts

• arxiv url: http://arxiv.org/abs/2011.01613v1
• Date: Tue, 3 Nov 2020 10:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 03:51:41.407088
• Title: Towards a Universal Gating Network for Mixtures of Experts
• Title（参考訳）: 専門家の混合のためのユニバーサルゲーティングネットワークを目指して
• Authors: Chen Wen Kang, Chua Meng Hong, Tomas Maul
• Abstract要約: 複数のニューラルネットワークからの知識の組み合わせは、専門家の混合の形で一般的に見られる。 本論文では、異種ニューラルネットワークの組み合わせのための複数のデータフリー手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination and aggregation of knowledge from multiple neural networks can be commonly seen in the form of mixtures of experts. However, such combinations are usually done using networks trained on the same tasks, with little mention of the combination of heterogeneous pre-trained networks, especially in the data-free regime. This paper proposes multiple data-free methods for the combination of heterogeneous neural networks, ranging from the utilization of simple output logit statistics, to training specialized gating networks. The gating networks decide whether specific inputs belong to specific networks based on the nature of the expert activations generated. The experiments revealed that the gating networks, including the universal gating approach, constituted the most accurate approach, and therefore represent a pragmatic step towards applications with heterogeneous mixtures of experts in a data-free regime. The code for this project is hosted on github at https://github.com/cwkang1998/network-merging.
• Abstract（参考訳）: 複数のニューラルネットワークからの知識の組み合わせと集約は、専門家の混合の形で一般的に見られる。 しかしながら、そのような組み合わせは、通常同じタスクで訓練されたネットワークを使用して行われ、特にデータフリーなシステムにおいて、異種事前訓練されたネットワークの組み合わせについてはほとんど言及されていない。 本稿では、単純な出力ロジット統計の活用から特殊なゲーティングネットワークの訓練まで、異種ニューラルネットワークの組み合わせのためのデータフリーな複数の手法を提案する。 ゲーティングネットワークは、生成されたエキスパートアクティベーションの性質に基づいて、特定の入力が特定のネットワークに属するか否かを決定する。 実験の結果,ユニバーサル・ゲーティング・アプローチを含むゲーティング・ネットワークが最も正確なアプローチであり,データフリー・レジームにおける専門家の異種混合アプリケーションに対する実用的なステップであることが明らかになった。 このプロジェクトのコードはgithubのhttps://github.com/cwkang1998/network-mergingにホストされている。

関連論文リスト

• A pseudo-likelihood approach to community detection in weighted networks [4.111899441919165]
  本研究では,通常分布するエッジ重みを持つネットワークに対して,擬似的なコミュニティ推定アルゴリズムを提案する。 提案手法により得られた推定値が均質ネットワークの仮定の下で一貫したものであることを証明した。 シミュレーションネットワークとfMRIデータセットで、エッジウェイトは脳領域間の接続を表現している。
  論文  参考訳（メタデータ） (2023-03-10T13:36:10Z)
• Fitting Low-rank Models on Egocentrically Sampled Partial Networks [4.111899441919165]
  本稿では,egocentricly sampled network に対する一般的な低ランクモデルに適合する手法を提案する。 この手法は、エゴセントリックな部分的ネットワーク推定に関する最初の理論的保証を提供する。 本手法を複数の合成および実世界のネットワーク上で評価し,リンク予測タスクにおいて競合性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-09T03:20:44Z)
• Constructing Organism Networks from Collaborative Self-Replicators [9.41153391721276]
  一つの神経ネットワークのように機能するが、複数の神経粒子ネットワークから構成される生物ネットワークを紹介する。 各粒子ネットワークは、生物ネットワーク内の単一重み付けの役割を果たす一方で、自身の重みを自己複製するようにも訓練されている。
  論文  参考訳（メタデータ） (2022-12-20T08:33:57Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Multi-view Multi-label Anomaly Network Traffic Classification based on MLP-Mixer Neural Network [55.21501819988941]
  畳み込みニューラルネットワーク(CNN)に基づく既存のネットワークトラフィック分類は、グローバルな情報関連を無視しながら、トラフィックデータの局所的なパターンを強調することが多い。 本稿では,エンドツーエンドのネットワークトラフィック分類手法を提案する。
  論文  参考訳（メタデータ） (2022-10-30T01:52:05Z)
• Predicting Hidden Links and Missing Nodes in Scale-Free Networks with Artificial Neural Networks [1.0152838128195467]
  我々は,大規模ネットワークにおける隠れリンクや欠落ノードを予測するための手法を,アルゴリズムの形で提案した。 我々は,Bella Bollobasの有向スケールフリーなランダムグラフ生成アルゴリズムをランダムネットワークの生成元として使用し,大規模なスケールフリーなネットワークのデータを生成する。
  論文  参考訳（メタデータ） (2021-09-25T10:23:28Z)
• MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks [97.08677678499075]
  マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。 機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-10T15:31:02Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
  深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。 本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
  論文  参考訳（メタデータ） (2020-06-15T08:58:01Z)
• Detecting Communities in Heterogeneous Multi-Relational Networks:A Message Passing based Approach [89.19237792558687]
  コミュニティは、ソーシャルネットワーク、生物学的ネットワーク、コンピュータおよび情報ネットワークを含むネットワークの共通の特徴である。 我々は,全同種ネットワークのコミュニティを同時に検出する効率的なメッセージパッシングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。