論文の概要: Neural Inhibition Improves Dynamic Routing and Mixture of Experts

• arxiv url: http://arxiv.org/abs/2507.03221v1
• Date: Thu, 03 Jul 2025 23:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.625469
• Title: Neural Inhibition Improves Dynamic Routing and Mixture of Experts
• Title（参考訳）: 神経阻害は専門家の動的ルーティングと混合を改善する
• Authors: Will Y. Zou, Jennifer Y. Zhang,
• Abstract要約: 動的ルーティングモデルは、神経集団の神経阻害によって改善される。 ニューラル・イントラクション・アルゴリズムが一般的なタスクの性能を大幅に向上させることを示す実験的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.18416014644193066
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To be effective, efficient, and diverse, deep learning models need to dynamically choose its architecture based on signals from a population of neurons. We hypothesize dynamic routing models can be improved with neural inhibition in those neural populations. This means signals commonly shared among the various modes of data statistics can be inhibited so that the routing model can choose a specialized expert path for each data sample. Only through inhibition is the routing mechanism able to effectively select neural pathways. We believe this is an under-studied and under-verified implementation methodology for Mixture-of-Experts, dynamic routing, and transformer language models. We provide experimental evidence that the neural inhibition algorithm significantly boosts the performance of general tasks and motivates more effort to be invested in this research direction.
• Abstract（参考訳）: 効果的で効率的で多様なディープラーニングモデルを作るには、ニューロンの集団からの信号に基づいてアーキテクチャを動的に選択する必要がある。 我々は、これらの神経集団において、神経阻害によって動的ルーティングモデルを改善することができると仮定する。 これは、ルーティングモデルがデータサンプル毎に専門的な専門家パスを選択することができるように、データ統計の様々なモード間で共通に共有される信号を阻害することができることを意味する。 阻害によってのみ、ルーティング機構は神経経路を効果的に選択できる。 これは、Mixture-of-Experts、動的ルーティング、トランスフォーマー言語モデルのための、未研究かつ未検証の実装手法であると考えています。 ニューラル阻害アルゴリズムが一般的なタスクの性能を大幅に向上させ、この研究の方向性により多くの労力を投入する動機となることを示す実験的な証拠を提供する。

関連論文リスト

• Few-Shot Transfer Learning for Individualized Braking Intent Detection on Neuromorphic Hardware [0.21847754147782888]
  本研究では、BrainChip上の畳み込みスパイクニューラルネットワーク(CSNN)をトレーニングし、実装するために、数発の転送学習手法の使用について検討する。 その結果、ニューロモルフィックハードウェアのエネルギー効率は97%以上低下し、レイテンシは1.3*しか増加しなかった。
  論文  参考訳（メタデータ） (2024-07-21T15:35:46Z)
• Inferring stochastic low-rank recurrent neural networks from neural data [5.179844449042386]
  計算神経科学における中心的な目的は、大きなニューロンの活動と基礎となる力学系を関連付けることである。 低ランクリカレントニューラルネットワーク(RNN)は、トラクタブルダイナミクスを持つことによって、そのような解釈可能性を示す。 そこで本研究では,低ランクRNNをモンテカルロ変分法に適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T15:57:49Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。