論文の概要: Brain-Like Processing Pathways Form in Models With Heterogeneous Experts

• arxiv url: http://arxiv.org/abs/2506.02813v2
• Date: Tue, 21 Oct 2025 15:25:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:07.436421
• Title: Brain-Like Processing Pathways Form in Models With Heterogeneous Experts
• Title（参考訳）: ヘテロジニアス専門家によるモデルにおける脳様処理経路の形成
• Authors: Jack Cook, Danyal Akarca, Rui Ponte Costa, Jascha Achterberg,
• Abstract要約: ヘテロジニアス・ミックス・オブ・エキスパートアーキテクチャを拡張して、異種領域がそれ自体で処理経路を形成していないことを示す。 経路形成を促進する3つの生物学的関連誘導バイアスを同定した。 我々のモデルにおける人工的な経路は、脳が皮質系と皮質下系を使って、様々な困難を伴うタスクを学習し、解決する方法と一致している。
• 参考スコア（独自算出の注目度）: 1.6799377888527685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Examples of such pathways can be found in the interactions between cortical and subcortical networks during learning, or in sub-networks specializing for task characteristics such as difficulty or modality. Despite the large role these pathways play in cognition, the mechanisms through which brain regions organize into pathways remain unclear. In this work, we use an extension of the Heterogeneous Mixture-of-Experts architecture to show that heterogeneous regions do not form processing pathways by themselves, implying that the brain likely implements specific constraints which result in the reliable formation of pathways. We identify three biologically relevant inductive biases that encourage pathway formation: a routing cost imposed on the use of more complex regions, a scaling factor that reduces this cost when task performance is low, and randomized expert dropout. When comparing our resulting \textit{Mixture-of-Pathways} model with the brain, we observe that the artificial pathways in our model match how the brain uses cortical and subcortical systems to learn and solve tasks of varying difficulty. In summary, we introduce a novel framework for investigating how the brain forms task-specific pathways through inductive biases, and the effects these biases have on the behavior of Mixture-of-Experts models.
• Abstract（参考訳）: このような経路の例としては、学習中の皮質と皮質下ネットワーク間の相互作用や、困難やモダリティといったタスク特性を専門とするサブネットワークなどが挙げられる。 これらの経路は認知において大きな役割を果たすが、脳の領域が経路に組織化されるメカニズムはいまだ不明である。 本研究ではヘテロジニアス・ミックス・オブ・エキスパートアーキテクチャの拡張を用いて、不均一領域がそれ自体で処理経路を形成していないことを示す。 経路形成を促進する3つの生物学的関連帰納バイアスを同定する: より複雑な領域の使用に課されるルーティングコスト、タスク性能が低い場合にこのコストを低減させるスケーリング係数、ランダム化された専門家のドロップアウト。 結果の「textit{Mixture-of-Pathways}」モデルを脳と比較すると、我々のモデルにおける人工的な経路は、脳が皮質系と皮質下系を使用して、様々な困難を伴うタスクを学習し、解決する方法と一致することが分かる。 本稿では,脳が帰納的バイアスを通じてタスク固有の経路をどのように形成し,それらのバイアスがMixture-of-Expertsモデルの挙動に与える影響を考察する新しい枠組みを提案する。

関連論文リスト

• BrainMAP: Learning Multiple Activation Pathways in Brain Networks [77.15180533984947]
  本稿では,脳ネットワークにおける複数の活性化経路を学習するための新しいフレームワークであるBrainMAPを紹介する。 本フレームワークは,タスクに関わる重要な脳領域の説明的分析を可能にする。
  論文  参考訳（メタデータ） (2024-12-23T09:13:35Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• A Goal-Driven Approach to Systems Neuroscience [2.6451153531057985]
  人間と動物は、動的環境において様々な興味深い行動を示す。 私たちの脳が、こうした行動を可能にするために、どのようにしてこの密集した感覚情報を積極的に再構築するかは不明です。 我々は、ニューラルサーキットの統一構造モデルと機能モデルを生み出すことを約束する新しい解釈可能性の定義を提供する。
  論文  参考訳（メタデータ） (2023-11-05T16:37:53Z)
• Brain Diffusion for Visual Exploration: Cortical Discovery using Large Scale Generative Models [6.866437017874623]
  我々は,自然画像とfMRI記録を用いて,与えられた脳領域を活性化するために予測される画像を合成する,データ駆動型アプローチを提案する。 提案手法は,脳誘導画像合成と大規模拡散モデルを組み合わせた最近の生成法に基づいている。 これらの結果は、人間の視覚野の微細な機能的構造に対する理解を深めるものである。
  論文  参考訳（メタデータ） (2023-06-05T17:59:05Z)
• Transformer-Based Hierarchical Clustering for Brain Network Analysis [13.239896897835191]
  本稿では,階層型クラスタ同定と脳ネットワーク分類のための新しい解釈可能なトランスフォーマーモデルを提案する。 階層的クラスタリング(hierarchical clustering)の助けを借りて、このモデルは精度の向上と実行時の複雑性の低減を実現し、脳領域の機能的構造に関する明確な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-06T22:14:13Z)
• Brain Cortical Functional Gradients Predict Cortical Folding Patterns via Attention Mesh Convolution [51.333918985340425]
  我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。 実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-21T14:08:53Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Can the brain use waves to solve planning problems? [62.997667081978825]
  このような課題を解くニューラルネットワークモデルを提案する。 このモデルは、哺乳類の新皮質と海馬に関する幅広い実験的な発見と互換性がある。
  論文  参考訳（メタデータ） (2021-10-11T11:07:05Z)
• Convolutional Neural Networks for cytoarchitectonic brain mapping at large scale [0.33727511459109777]
  今回我々は,ヒト後脳の多数の細胞体染色組織における細胞構造学的領域をマッピングするための新しいワークフローを提案する。 これはDeep Convolutional Neural Network (CNN)に基づいており、アノテーション付きの一対のセクションイメージに基づいてトレーニングされており、その間に多数の注釈のないセクションがある。 新しいワークフローは、セクションの3D再構成を必要とせず、組織学的アーティファクトに対して堅牢である。
  論文  参考訳（メタデータ） (2020-11-25T16:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。