論文の概要: Neuron-based Multifractal Analysis of Neuron Interaction Dynamics in Large Models

• arxiv url: http://arxiv.org/abs/2402.09099v5
• Date: Fri, 24 Jan 2025 08:22:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 20:40:39.372667
• Title: Neuron-based Multifractal Analysis of Neuron Interaction Dynamics in Large Models
• Title（参考訳）: ニューロンを用いた大規模モデルにおけるニューロン相互作用ダイナミクスのマルチフラクタル解析
• Authors: Xiongye Xiao, Chenyu Zhou, Heng Ping, Defu Cao, Yaxing Li, Yi-Zhuo Zhou, Shixuan Li, Nikos Kanakaris, Paul Bogdan,
• Abstract要約: 我々はニューロMFA(NeuroMFA)と呼ばれる構造解析のための新しい解析フレームワークを提案する。 構造的特徴を大規模モデルの能力にリンクすることにより、NeuroMFAは大規模モデルの創発現象を分析するための定量的フレームワークを提供する。
• 参考スコア（独自算出の注目度）: 9.972799752333554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, there has been increasing attention on the capabilities of large models, particularly in handling complex tasks that small-scale models are unable to perform. Notably, large language models (LLMs) have demonstrated ``intelligent'' abilities such as complex reasoning and abstract language comprehension, reflecting cognitive-like behaviors. However, current research on emergent abilities in large models predominantly focuses on the relationship between model performance and size, leaving a significant gap in the systematic quantitative analysis of the internal structures and mechanisms driving these emergent abilities. Drawing inspiration from neuroscience research on brain network structure and self-organization, we propose (i) a general network representation of large models, (ii) a new analytical framework, called Neuron-based Multifractal Analysis (NeuroMFA), for structural analysis, and (iii) a novel structure-based metric as a proxy for emergent abilities of large models. By linking structural features to the capabilities of large models, NeuroMFA provides a quantitative framework for analyzing emergent phenomena in large models. Our experiments show that the proposed method yields a comprehensive measure of network's evolving heterogeneity and organization, offering theoretical foundations and a new perspective for investigating emergent abilities in large models.
• Abstract（参考訳）: 近年,特に小規模モデルでは実行できない複雑なタスクの処理において,大規模モデルの能力に注目が集まっている。 特に、大きな言語モデル(LLM)は、複雑な推論や抽象的な言語理解のような'インテリジェント'の能力を示し、認知的な振る舞いを反映している。 しかし、大規模モデルにおける創発的能力に関する現在の研究は、主にモデルの性能とサイズの関係に焦点をあてており、内部構造とこれらの創発的能力を駆動するメカニズムの体系的な定量的分析において大きなギャップを残している。 脳ネットワークの構造と自己組織化に関する神経科学研究からのインスピレーションを得て、我々は提案する。 (i)大型モデルの一般的なネットワーク表現。 (II) 構造解析のためのニューロMFA(NeuroMFA)と呼ばれる新しい分析フレームワーク 三 大規模モデルの創発的能力の代用としての新規な構造に基づく計量。 構造的特徴を大規模モデルの能力にリンクすることにより、NeuroMFAは大規模モデルの創発現象を分析するための定量的フレームワークを提供する。 実験の結果,提案手法はネットワークの進化する不均一性と組織を包括的に測定し,理論的基礎と大規模モデルにおける創発的能力の新たな視点を提供する。

関連論文リスト

• Cognitive Activation and Chaotic Dynamics in Large Language Models: A Quasi-Lyapunov Analysis of Reasoning Mechanisms [6.375329734462518]
  本稿では,大規模言語モデルの推論機構の本質を明らかにする「認知活性化理論」を提案する。 実験により、モデルの情報の蓄積は非線形指数法則に従っており、Multilayer Perceptron (MLP) は最終的な出力においてより高い割合を占めることが示された。 本研究は, LLMの推論の解釈可能性に関するカオス理論の枠組みを提供し, モデル設計における創造性と信頼性のバランスをとるための潜在的経路を明らかにする。
  論文  参考訳（メタデータ） (2025-03-15T08:15:10Z)
• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。 また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Modularity in Transformers: Investigating Neuron Separability & Specialization [0.0]
  トランスフォーマーモデルは様々なアプリケーションでますます普及していますが、内部動作に対する我々の理解は限定的です。 本稿では、視覚(ViT)モデルと言語(Mistral 7B)モデルの両方に着目し、トランスフォーマーアーキテクチャ内のニューロンのモジュラリティとタスクの特殊化について検討する。 選択的プルーニングとMoEficationクラスタリングの組み合わせを用いて、異なるタスクやデータサブセットにわたるニューロンの重複と特殊化を分析する。
  論文  参考訳（メタデータ） (2024-08-30T14:35:01Z)
• Leveraging Chemistry Foundation Models to Facilitate Structure Focused Retrieval Augmented Generation in Multi-Agent Workflows for Catalyst and Materials Design [0.0]
  ケミカル基礎モデルは,構造に着目したセマンティックケミカル情報検索の基盤として機能することを示す。 また,OpenCLIP などのマルチモーダルモデルと化学基礎モデルの併用について述べる。
  論文  参考訳（メタデータ） (2024-08-21T17:25:45Z)
• Discovering intrinsic multi-compartment pharmacometric models using Physics Informed Neural Networks [0.0]
  我々は、純粋にデータ駆動型ニューラルネットワークモデルであるPKINNを紹介する。 PKINNは、本質的なマルチコンパートメントベースの薬理学構造を効率的に発見し、モデル化する。 得られたモデルは、シンボリック回帰法によって解釈可能であり、説明可能である。
  論文  参考訳（メタデータ） (2024-04-30T19:31:31Z)
• Probing Biological and Artificial Neural Networks with Task-dependent Neural Manifolds [12.037840490243603]
  本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。 学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。 これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
  論文  参考訳（メタデータ） (2023-12-21T20:40:51Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Spatiotemporal Patterns in Neurobiology: An Overview for Future Artificial Intelligence [0.0]
  我々は,ネットワーク相互作用から生じる機能を明らかにする上で,計算モデルが重要なツールであると主張している。 ここでは、スパイキングニューロン、統合ニューロン、発火ニューロンを含むいくつかのモデルのクラスについてレビューする。 これらの研究は、人工知能アルゴリズムの今後の発展と、脳のプロセスの理解の検証に役立つことを願っている。
  論文  参考訳（メタデータ） (2022-03-29T10:28:01Z)
• Ranking of Communities in Multiplex Spatiotemporal Models of Brain Dynamics [0.0]
  隠れマルコフグラフモデル(HMs)と呼ぶ多重脳状態グラフモデルとして、ニューラルHMMの解釈を提案する。 この解釈により、ネットワーク分析技術の完全なレパートリーを使用して、動的脳活動を分析することができる。 ランダムウォークに基づく手法を用いて,脳領域の重要なコミュニティを決定するための新しいツールを開発した。
  論文  参考訳（メタデータ） (2022-03-17T12:14:09Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Neuron-level Interpretation of Deep NLP Models: A Survey [22.035813865470956]
  ディープニューラルネットワークモデルのコンポーネントを分析し、理解するために、数多くの研究がなされている。 最近の研究は、より粒度の細かいレベルでの解釈可能性に集中し、大きなモデルでニューロンとニューロンのグループを分析している。
  論文  参考訳（メタデータ） (2021-08-30T11:54:21Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。