論文の概要: More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing
- arxiv url: http://arxiv.org/abs/2410.08003v1
- Date: Fri, 18 Oct 2024 18:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 06:05:02.963008
- Title: More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing
- Title（参考訳）: ギャラクシー以上の専門家たち:生物学的にインスパイアされた固定されたルーティングを持つ条件付きオーバーラップの専門家たち
- Authors: Sagi Shaier, Francisco Pereira, Katharina von der Wense, Lawrence E Hunter, Matt Jones,
- Abstract要約: Conditionally Overlapping Mixture of ExperTs (COMET) は、モジュラーでスパースなアーキテクチャを、指数関数的に重複する専門家数で誘導する一般的なディープラーニング手法である。
画像分類,言語モデリング,回帰といったタスクにおけるCOMETの有効性を示す。
- 参考スコア（独自算出の注目度）: 5.846028298833611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The evolution of biological neural systems has led to both modularity and sparse coding, which enables efficiency in energy usage, and robustness across the diversity of tasks in the lifespan. In contrast, standard neural networks rely on dense, non-specialized architectures, where all model parameters are simultaneously updated to learn multiple tasks, leading to representation interference. Current sparse neural network approaches aim to alleviate this issue, but are often hindered by limitations such as 1) trainable gating functions that cause representation collapse; 2) non-overlapping experts that result in redundant computation and slow learning; and 3) reliance on explicit input or task IDs that impose significant constraints on flexibility and scalability. In this paper we propose Conditionally Overlapping Mixture of ExperTs (COMET), a general deep learning method that addresses these challenges by inducing a modular, sparse architecture with an exponential number of overlapping experts. COMET replaces the trainable gating function used in Sparse Mixture of Experts with a fixed, biologically inspired random projection applied to individual input representations. This design causes the degree of expert overlap to depend on input similarity, so that similar inputs tend to share more parameters. This facilitates positive knowledge transfer, resulting in faster learning and improved generalization. We demonstrate the effectiveness of COMET on a range of tasks, including image classification, language modeling, and regression, using several popular deep learning architectures.
- Abstract（参考訳）: 生物学的ニューラルネットワークの進化により、モジュール性とスパースコーディングの両方が生まれ、エネルギー使用効率が向上し、寿命におけるタスクの多様性が堅牢になった。
対照的に、標準的なニューラルネットワークは密集した非特殊化アーキテクチャに依存しており、すべてのモデルパラメータを同時に更新して複数のタスクを学習することで、表現干渉につながる。
現在のスパースニューラルネットワークアプローチはこの問題を軽減することを目的としているが、しばしば制限のような制限によって妨げられる。
1) 表現の崩壊を引き起こす訓練可能なゲーティング関数
2 重複しない専門家が冗長な計算と学習の遅さをもたらすこと。
3) 明示的な入力やタスクIDに依存して、柔軟性とスケーラビリティに大きな制約を課します。
本稿では,重なり合う専門家の指数的な数でモジュラー・スパースアーキテクチャを誘導することにより,これらの課題に対処する一般的なディープラーニング手法であるComET(Conditionally Overlapping Mixture of ExperTs)を提案する。
COMETは、Sparse Mixture of Expertsで使用されるトレーニング可能なゲーティング関数を、個々の入力表現に適用された固定された生物学的にインスパイアされたランダムプロジェクションに置き換える。
この設計により、専門家の重複度は入力の類似度に依存するため、類似した入力がより多くのパラメータを共有する傾向がある。
これにより、ポジティブな知識伝達が促進され、学習が早くなり、一般化が向上する。
本稿では,画像分類,言語モデリング,回帰といったタスクにおけるCOMETの有効性を,いくつかの人気のあるディープラーニングアーキテクチャを用いて実証する。
関連論文リスト
- ConsistentFeature: A Plug-and-Play Component for Neural Network Regularization [0.32885740436059047]
過パラメータ化されたニューラルネットワークモデルは、トレーニングとテストセットの間に大きなパフォーマンスの相違をもたらすことが多い。
モデルは異なるデータセットで異なる表現を学習する。
適応的手法であるConsistentFeatureを提案し、同じトレーニングセットのランダムなサブセット間で特徴差を制約することでモデルを正規化する。
論文 参考訳（メタデータ） (2024-12-02T13:21:31Z) - Complexity Experts are Task-Discriminative Learners for Any Image Restoration [80.46313715427928]
複雑性の専門家" - 様々な計算複雑性と受容的なフィールドを持つフレキシブルな専門家ブロックを紹介します。
この選好は、タスク固有の割り当てを効果的に推進し、適切な複雑さを持つ専門家にタスクを割り当てる。
提案したMoCE-IRモデルは最先端の手法より優れており、その効率性と実用性が確認されている。
論文 参考訳（メタデータ） (2024-11-27T15:58:07Z) - Modular Neural Network Approaches for Surgical Image Recognition [0.0]
本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。
実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。
第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-17T22:28:16Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Spatio-Temporal Representation Factorization for Video-based Person
Re-Identification [55.01276167336187]
本稿では、re-IDのための時空間表現分解モジュール(STRF)を提案する。
STRFはフレキシブルな新しい計算ユニットであり、re-IDのための既存のほとんどの3D畳み込みニューラルネットワークアーキテクチャと併用することができる。
実験により、STRFは様々なベースラインアーキテクチャの性能を向上し、新しい最先端の成果を示す。
論文 参考訳（メタデータ） (2021-07-25T19:29:37Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳（メタデータ） (2021-04-07T03:50:11Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - TorchDyn: A Neural Differential Equations Library [16.43439140464003]
継続的深層学習に特化したPyTorchライブラリであるTorchDynを紹介する。
通常のプラグアンドプレイ深層学習プリミティブと同じくらいアクセスしやすいように、神経微分方程式を高めるように設計されている。
論文 参考訳（メタデータ） (2020-09-20T03:45:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。