論文の概要: Unraveling the cognitive patterns of Large Language Models through module communities

• arxiv url: http://arxiv.org/abs/2508.18192v1
• Date: Mon, 25 Aug 2025 16:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.872959
• Title: Unraveling the cognitive patterns of Large Language Models through module communities
• Title（参考訳）: モジュール・コミュニティによる大規模言語モデルの認知パターンの解明
• Authors: Kushal Raj Bhandari, Pin-Yu Chen, Jianxi Gao,
• Abstract要約: 大規模言語モデル(LLM)は、科学、工学、社会において大きな進歩を遂げ、我々の世界を変えました。 実用性と実用性にもかかわらず、LLMの基盤となるメカニズムは何十億ものパラメータや複雑な構造の中に隠されている。 生物学における新たな認知を理解するためのアプローチを採用することで、このギャップに対処する。
• 参考スコア（独自算出の注目度）: 45.399985422756224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have reshaped our world with significant advancements in science, engineering, and society through applications ranging from scientific discoveries and medical diagnostics to Chatbots. Despite their ubiquity and utility, the underlying mechanisms of LLM remain concealed within billions of parameters and complex structures, making their inner architecture and cognitive processes challenging to comprehend. We address this gap by adopting approaches to understanding emerging cognition in biology and developing a network-based framework that links cognitive skills, LLM architectures, and datasets, ushering in a paradigm shift in foundation model analysis. The skill distribution in the module communities demonstrates that while LLMs do not strictly parallel the focalized specialization observed in specific biological systems, they exhibit unique communities of modules whose emergent skill patterns partially mirror the distributed yet interconnected cognitive organization seen in avian and small mammalian brains. Our numerical results highlight a key divergence from biological systems to LLMs, where skill acquisition benefits substantially from dynamic, cross-regional interactions and neural plasticity. By integrating cognitive science principles with machine learning, our framework provides new insights into LLM interpretability and suggests that effective fine-tuning strategies should leverage distributed learning dynamics rather than rigid modular interventions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学的発見や医学的診断からチャットボットまで幅広い応用を通じて、科学、工学、社会において大きな進歩を遂げ、我々の世界を変えた。 実用性や実用性にもかかわらず、LLMの基盤となるメカニズムは何十億ものパラメータや複雑な構造の中に隠されており、内部のアーキテクチャや認知プロセスを理解するのが困難である。 生物学における新たな認知を理解するためのアプローチを採用し、認知能力、LLMアーキテクチャ、データセットをリンクするネットワークベースのフレームワークを開発し、基礎モデル分析におけるパラダイムシフトを先導することで、このギャップに対処する。 モジュール群集のスキル分布は, LLMが特定の生物学的システムで観察される局所的な特殊化を厳密に平行にしているわけではないが, 鳥類や小型哺乳類の脳に見られる分散しているが相互に結びついている認知組織を部分的に反映した, 創発的なスキルパターンを持つモジュール群群群集を呈していることを示している。 我々の数値的な結果は、生物学的システムからLLMへの重要な分岐点を浮き彫りにしており、そこでは、ダイナミック、クロスリージョンの相互作用と神経可塑性から、スキル獲得が大きな恩恵を受ける。 認知科学の原則と機械学習を統合することで、我々のフレームワークはLLMの解釈可能性に関する新たな洞察を提供し、より効果的な微調整戦略は、厳密なモジュラー介入ではなく、分散学習のダイナミクスを活用するべきであることを示唆している。

関連論文リスト

• Lilith: Developmental Modular LLMs with Chemical Signaling [49.1574468325115]
  人工知能の現在のパラダイムは、神経レベルでの脳活動をモデル化するフィードフォワードネットワークの層に依存している。 我々は,モジュール型言語モデルの発達訓練と,ブレインインスパイアされたトークンベースの通信プロトコルを組み合わせた,新しいアーキテクチャLILITHを提案する。
  論文  参考訳（メタデータ） (2025-07-06T23:18:51Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Modular Machine Learning: An Indispensable Path towards New-Generation Large Language Models [45.05285463251872]
  我々は,新世代の大規模言語モデル(LLM)に不可欠なアプローチとして,新しい学習パラダイム - Modular Machine Learning (MML) を導入する。 MMLは、LLMの複雑な構造を、モジュラー表現、モジュラーモデル、モジュラー推論の3つの相互依存コンポーネントに分解する。 本稿では,非絡み合い表現学習,ニューラルアーキテクチャ探索,ニューロシンボリック学習などの高度な技術を活用して,MLに基づくLLMの実現の可能性を示す。
  論文  参考訳（メタデータ） (2025-04-28T17:42:02Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Synergistic Integration of Large Language Models and Cognitive Architectures for Robust AI: An Exploratory Analysis [12.9222727028798]
  本稿では、知的行動を示す人工知能エージェントの開発に使用される2つのAIサブセクタの統合について考察する:大規模言語モデル(LLM)と認知アーキテクチャ(CA)である。 我々は3つの統合的アプローチを提案し、それぞれ理論モデルに基づいて、予備的な経験的証拠によって支持される。 これらのアプローチは、LSMとCAの長所を活用すると同時に、弱点を軽減し、より堅牢なAIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-08-18T21:42:47Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。