論文の概要: Neuron-based Multifractal Analysis of Neuron Interaction Dynamics in Large Models

• arxiv url: http://arxiv.org/abs/2402.09099v5
• Date: Fri, 24 Jan 2025 08:22:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:54:52.277131
• Title: Neuron-based Multifractal Analysis of Neuron Interaction Dynamics in Large Models
• Title（参考訳）: ニューロンを用いた大規模モデルにおけるニューロン相互作用ダイナミクスのマルチフラクタル解析
• Authors: Xiongye Xiao, Chenyu Zhou, Heng Ping, Defu Cao, Yaxing Li, Yi-Zhuo Zhou, Shixuan Li, Nikos Kanakaris, Paul Bogdan,
• Abstract要約: 我々はニューロMFA(NeuroMFA)と呼ばれる構造解析のための新しい解析フレームワークを提案する。 構造的特徴を大規模モデルの能力にリンクすることにより、NeuroMFAは大規模モデルの創発現象を分析するための定量的フレームワークを提供する。
• 参考スコア（独自算出の注目度）: 9.972799752333554
• License:
• Abstract: In recent years, there has been increasing attention on the capabilities of large models, particularly in handling complex tasks that small-scale models are unable to perform. Notably, large language models (LLMs) have demonstrated ``intelligent'' abilities such as complex reasoning and abstract language comprehension, reflecting cognitive-like behaviors. However, current research on emergent abilities in large models predominantly focuses on the relationship between model performance and size, leaving a significant gap in the systematic quantitative analysis of the internal structures and mechanisms driving these emergent abilities. Drawing inspiration from neuroscience research on brain network structure and self-organization, we propose (i) a general network representation of large models, (ii) a new analytical framework, called Neuron-based Multifractal Analysis (NeuroMFA), for structural analysis, and (iii) a novel structure-based metric as a proxy for emergent abilities of large models. By linking structural features to the capabilities of large models, NeuroMFA provides a quantitative framework for analyzing emergent phenomena in large models. Our experiments show that the proposed method yields a comprehensive measure of network's evolving heterogeneity and organization, offering theoretical foundations and a new perspective for investigating emergent abilities in large models.
• Abstract（参考訳）: 近年,特に小規模モデルでは実行できない複雑なタスクの処理において,大規模モデルの能力に注目が集まっている。 特に、大きな言語モデル(LLM)は、複雑な推論や抽象的な言語理解のような'インテリジェント'の能力を示し、認知的な振る舞いを反映している。 しかし、大規模モデルにおける創発的能力に関する現在の研究は、主にモデルの性能とサイズの関係に焦点をあてており、内部構造とこれらの創発的能力を駆動するメカニズムの体系的な定量的分析において大きなギャップを残している。 脳ネットワークの構造と自己組織化に関する神経科学研究からのインスピレーションを得て、我々は提案する。 (i)大型モデルの一般的なネットワーク表現。 (II) 構造解析のためのニューロMFA(NeuroMFA)と呼ばれる新しい分析フレームワーク 三 大規模モデルの創発的能力の代用としての新規な構造に基づく計量。 構造的特徴を大規模モデルの能力にリンクすることにより、NeuroMFAは大規模モデルの創発現象を分析するための定量的フレームワークを提供する。 実験の結果,提案手法はネットワークの進化する不均一性と組織を包括的に測定し,理論的基礎と大規模モデルにおける創発的能力の新たな視点を提供する。

関連論文リスト

• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本研究では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデルを提案する。 このモデルは分子生物学の中心的なドグマに固執し、タンパク質のコード配列を正確に生成する。 また、特にプロモーター配列の即応的な生成を通じて、シーケンス最適化において大きな可能性を示している。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Leveraging Chemistry Foundation Models to Facilitate Structure Focused Retrieval Augmented Generation in Multi-Agent Workflows for Catalyst and Materials Design [0.0]
  ケミカル基礎モデルは,構造に着目したセマンティックケミカル情報検索の基盤として機能することを示す。 また,OpenCLIP などのマルチモーダルモデルと化学基礎モデルの併用について述べる。
  論文  参考訳（メタデータ） (2024-08-21T17:25:45Z)
• Discovering intrinsic multi-compartment pharmacometric models using Physics Informed Neural Networks [0.0]
  我々は、純粋にデータ駆動型ニューラルネットワークモデルであるPKINNを紹介する。 PKINNは、本質的なマルチコンパートメントベースの薬理学構造を効率的に発見し、モデル化する。 得られたモデルは、シンボリック回帰法によって解釈可能であり、説明可能である。
  論文  参考訳（メタデータ） (2024-04-30T19:31:31Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Spatiotemporal Patterns in Neurobiology: An Overview for Future Artificial Intelligence [0.0]
  我々は,ネットワーク相互作用から生じる機能を明らかにする上で,計算モデルが重要なツールであると主張している。 ここでは、スパイキングニューロン、統合ニューロン、発火ニューロンを含むいくつかのモデルのクラスについてレビューする。 これらの研究は、人工知能アルゴリズムの今後の発展と、脳のプロセスの理解の検証に役立つことを願っている。
  論文  参考訳（メタデータ） (2022-03-29T10:28:01Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。