論文の概要: Brain-Like Processing Pathways Form in Models With Heterogeneous Experts

• arxiv url: http://arxiv.org/abs/2506.02813v1
• Date: Tue, 03 Jun 2025 12:43:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.674218
• Title: Brain-Like Processing Pathways Form in Models With Heterogeneous Experts
• Title（参考訳）: ヘテロジニアス専門家によるモデルにおける脳様処理経路の形成
• Authors: Jack Cook, Danyal Akarca, Rui Ponte Costa, Jascha Achterberg,
• Abstract要約: ヘテロジニアス・ミックス・オブ・エキスパートアーキテクチャを拡張して、異種領域がそれ自体で処理経路を形成していないことを示す。 経路形成を促進する3つの生物学的関連誘導バイアスを同定した。 人工的な経路は、脳が皮質系と皮質下系を使って、様々な困難を伴うタスクを学習し、解決する方法と一致している。
• 参考スコア（独自算出の注目度）: 3.4123736336071864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The brain is made up of a vast set of heterogeneous regions that dynamically organize into pathways as a function of task demands. Examples of such pathways can be seen in the interactions between cortical and subcortical networks during learning. This raises the question of how exactly brain regions organize into these dynamic groups. In this work, we use an extension of the Heterogeneous Mixture-of-Experts architecture, to show that heterogeneous regions do not form processing pathways by themselves, implying that the brain likely implements specific constraints which result in reliable formation of pathways. We identify three biologically relevant inductive biases that encourage pathway formation: a routing cost imposed on the use of more complex regions, a scaling factor that reduces this cost when task performance is low, and randomized expert dropout. When comparing our resulting Mixture-of-Pathways model with the brain, we observe that the artificial pathways match how the brain uses cortical and subcortical systems to learn and solve tasks of varying difficulty. In summary, we introduce a novel framework for investigating how the brain forms task-specific pathways through inductive biases which may make Mixture-of-Experts architectures in general more adaptive.
• Abstract（参考訳）: 脳は、タスク要求の関数として動的に経路に編成される広大な異種領域から構成される。 このような経路の例は、学習中に皮質と皮質下ネットワーク間の相互作用に見られる。 これにより、脳の領域がどのようにしてこれらの動的グループに組織化されるのかという疑問が提起される。 本研究では、不均一な混合実験アーキテクチャの拡張を用いて、不均一領域がそれ自体で処理経路を形成していないことを示す。 経路形成を促進する3つの生物学的関連帰納バイアスを同定する: より複雑な領域の使用に課されるルーティングコスト、タスク性能が低い場合にこのコストを低減させるスケーリング係数、ランダム化された専門家のドロップアウト。 結果のMixture-of-Pathwaysモデルと脳を比較すると、人工的な経路は脳が皮質系と皮質下系を使って、様々な困難を伴うタスクを学習し、解決する方法と一致しているのがわかります。 まとめると、脳が帰納的バイアスを通じてタスク固有の経路をどう形成するかを研究するための新しい枠組みを導入し、これは一般的にMixture-of-Expertsアーキテクチャをより適応させる。

関連論文リスト

• BrainMAP: Learning Multiple Activation Pathways in Brain Networks [77.15180533984947]
  本稿では,脳ネットワークにおける複数の活性化経路を学習するための新しいフレームワークであるBrainMAPを紹介する。 本フレームワークは,タスクに関わる重要な脳領域の説明的分析を可能にする。
  論文  参考訳（メタデータ） (2024-12-23T09:13:35Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Brain Diffusion for Visual Exploration: Cortical Discovery using Large Scale Generative Models [6.866437017874623]
  我々は,自然画像とfMRI記録を用いて,与えられた脳領域を活性化するために予測される画像を合成する,データ駆動型アプローチを提案する。 提案手法は,脳誘導画像合成と大規模拡散モデルを組み合わせた最近の生成法に基づいている。 これらの結果は、人間の視覚野の微細な機能的構造に対する理解を深めるものである。
  論文  参考訳（メタデータ） (2023-06-05T17:59:05Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Can the brain use waves to solve planning problems? [62.997667081978825]
  このような課題を解くニューラルネットワークモデルを提案する。 このモデルは、哺乳類の新皮質と海馬に関する幅広い実験的な発見と互換性がある。
  論文  参考訳（メタデータ） (2021-10-11T11:07:05Z)
• Convolutional Neural Networks for cytoarchitectonic brain mapping at large scale [0.33727511459109777]
  今回我々は,ヒト後脳の多数の細胞体染色組織における細胞構造学的領域をマッピングするための新しいワークフローを提案する。 これはDeep Convolutional Neural Network (CNN)に基づいており、アノテーション付きの一対のセクションイメージに基づいてトレーニングされており、その間に多数の注釈のないセクションがある。 新しいワークフローは、セクションの3D再構成を必要とせず、組織学的アーティファクトに対して堅牢である。
  論文  参考訳（メタデータ） (2020-11-25T16:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。