論文の概要: Mixture of Cognitive Reasoners: Modular Reasoning with Brain-Like Specialization

• arxiv url: http://arxiv.org/abs/2506.13331v1
• Date: Mon, 16 Jun 2025 10:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.104146
• Title: Mixture of Cognitive Reasoners: Modular Reasoning with Brain-Like Specialization
• Title（参考訳）: 認知共振器の混合:脳様の特殊化を伴うモジュラリ共振器
• Authors: Badr AlKhamissi, C. Nicolò De Sabbata, Zeming Chen, Martin Schrimpf, Antoine Bosselut,
• Abstract要約: 本研究では,Mixture of Cognitive Reasoners (MiCRo)アーキテクチャとトレーニングパラダイムを紹介する。 事前学習したトランスフォーマーモデルを4つの専門モジュールに分割し、それぞれがよく研究された認知脳ネットワークに対応する。 人間の認知に関わる生物学的に誘発される誘導バイアスは、解釈可能性、性能、制御性において大きなモデリング上の利益をもたらすことが示唆された。
• 参考スコア（独自算出の注目度）: 20.89486683564097
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human intelligence emerges from the interaction of specialized brain networks, each dedicated to distinct cognitive functions such as language processing, logical reasoning, social understanding, and memory retrieval. Inspired by this biological observation, we introduce the Mixture of Cognitive Reasoners (MiCRo) architecture and training paradigm: a modular transformer-based language model with a training curriculum that encourages the emergence of functional specialization among different modules. Inspired by studies in neuroscience, we partition the layers of a pretrained transformer model into four expert modules, each corresponding to a well-studied cognitive brain network. Our Brain-Like model has three key benefits over the state of the art: First, the specialized experts are highly interpretable and functionally critical, where removing a module significantly impairs performance on domain-relevant benchmarks. Second, our model outperforms comparable baselines that lack specialization on seven reasoning benchmarks. And third, the model's behavior can be steered at inference time by selectively emphasizing certain expert modules (e.g., favoring social over logical reasoning), enabling fine-grained control over the style of its response. Our findings suggest that biologically inspired inductive biases involved in human cognition lead to significant modeling gains in interpretability, performance, and controllability.
• Abstract（参考訳）: 人間の知性は、言語処理、論理的推論、社会的理解、記憶検索などの認知機能に特化して、専門的な脳ネットワークの相互作用から生まれる。 この生物学的観察に触発されて、我々は、異なるモジュール間の機能的特殊化の出現を促すトレーニングカリキュラムを備えたモジュラートランスフォーマーベースの言語モデルである、MiCRoアーキテクチャとトレーニングパラダイムの混合を紹介した。 神経科学の研究に触発された我々は、事前訓練されたトランスフォーマーモデルの層を4つの専門モジュールに分割し、それぞれがよく研究された認知脳ネットワークに対応する。 第一に、専門の専門家は高度に解釈可能で機能的に重要なので、モジュールを削除することで、ドメイン関連ベンチマークのパフォーマンスが著しく損なわれます。 第二に、私たちのモデルは7つの推論ベンチマークの専門性に欠ける同等のベースラインよりも優れています。 そして第3に、特定の専門家モジュール(例えば、論理的推論よりも社会的を好む)を選択的に強調することにより、推論時にモデルの振る舞いを判断し、その応答のスタイルをきめ細かい制御を可能にする。 人間の認知に関わる生物学的に誘発される誘導バイアスは、解釈可能性、性能、制御性において大きなモデリング上の利益をもたらすことが示唆された。

関連論文リスト

• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Emergent Modularity in Pre-trained Transformers [127.08792763817496]
  モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。 事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。 このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
  論文  参考訳（メタデータ） (2023-05-28T11:02:32Z)
• Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers [72.04044221898059]
  ReasonFormerは、人間のモジュール的および構成的推論プロセスを反映するための統一的な推論フレームワークである。 表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。 統一された推論フレームワークは、単一のモデルで複数のタスクを解決し、エンドツーエンドでトレーニングされ、推論される。
  論文  参考訳（メタデータ） (2022-10-20T13:39:55Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Meta-brain Models: biologically-inspired cognitive agents [0.0]
  メタ脳モデルと呼ぶ計算手法を提案する。 特殊なモデルを用いて構成したレイヤの組み合わせを提案する。 我々は、この柔軟でオープンソースなアプローチの開発における次のステップを提案して、結論付けます。
  論文  参考訳（メタデータ） (2021-08-31T05:20:53Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Brain-inspired self-organization with cellular neuromorphic computing for multimodal unsupervised learning [0.0]
  本稿では,自己組織マップとヘビアン様学習を用いた再突入理論に基づく脳刺激型ニューラルシステムを提案する。 システムトポロジがユーザによって固定されるのではなく,自己組織化によって学習されるような,いわゆるハードウェアの可塑性の獲得について述べる。
  論文  参考訳（メタデータ） (2020-04-11T21:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。