論文の概要: Effects of structural properties of neural networks on machine learning performance
- arxiv url: http://arxiv.org/abs/2507.10005v1
- Date: Mon, 14 Jul 2025 07:39:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:24.473046
- Title: Effects of structural properties of neural networks on machine learning performance
- Title（参考訳）: ニューラルネットワークの構造特性が機械学習性能に及ぼす影響
- Authors: Yash Arya, Sang Hoon Lee,
- Abstract要約: この研究は、ネットワーク科学と機械学習に有意義に寄与し、より生物学的に情報を得たニューラルネットワークの設計に刺激を与える洞察を提供する。
本研究により, 構造特性がある程度性能に影響を及ぼすことが明らかとなった。特に, 密接な相互接続型コミュニティを特徴とするネットワークは, 学習能力の向上を実証している。
- 参考スコア（独自算出の注目度）: 12.106994960669924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, graph-based machine learning techniques, such as reinforcement learning and graph neural networks, have garnered significant attention. While some recent studies have started to explore the relationship between the graph structure of neural networks and their predictive performance, they often limit themselves to a narrow range of model networks, particularly lacking mesoscale structures such as communities. Our work advances this area by conducting a more comprehensive investigation, incorporating realistic network structures characterized by heterogeneous degree distributions and community structures, which are typical characteristics of many real networks. These community structures offer a nuanced perspective on network architecture. Our analysis employs model networks such as random and scale-free networks, alongside a comparison with a biological neural network and its subsets for more detailed analysis. We examine the impact of these structural attributes on the performance of image classification tasks. Our findings reveal that structural properties do affect performance to some extent. Specifically, networks featuring coherent, densely interconnected communities demonstrate enhanced learning capabilities. The comparison with the biological neural network emphasizes the relevance of our findings to real-world structures, suggesting an intriguing connection worth further exploration. This study contributes meaningfully to network science and machine learning, providing insights that could inspire the design of more biologically informed neural networks.
- Abstract（参考訳）: 近年,強化学習やグラフニューラルネットワークといったグラフベースの機械学習技術が注目されている。
近年の研究では、ニューラルネットワークのグラフ構造と予測性能の関係について研究が始まっているが、特にコミュニティのようなメソスケール構造が欠如している、狭い範囲のモデルネットワークに制限されることが多い。
本研究は,多くの実ネットワークの典型的特徴である異種度分布とコミュニティ構造を特徴とする現実的なネットワーク構造を取り入れ,より包括的な調査を行うことにより,この領域を前進させる。
これらのコミュニティ構造は、ネットワークアーキテクチャに関する微妙な視点を提供する。
我々の分析では、生物学的ニューラルネットワークとそのサブセットとの比較とともに、ランダムネットワークやスケールフリーネットワークなどのモデルネットワークを使用し、より詳細な分析を行っている。
本稿では,これらの特徴が画像分類タスクの性能に与える影響について検討する。
この結果から, 構造特性がある程度性能に影響を及ぼすことが明らかとなった。
具体的には、コヒーレントで密接な相互接続型コミュニティを特徴とするネットワークが、学習能力の向上を実証した。
生物学的ニューラルネットワークとの比較は、我々の発見と現実世界の構造との関係を強調しており、さらなる探索に値する興味深いつながりを示唆している。
この研究は、ネットワーク科学と機械学習に有意義に寄与し、より生物学的に情報を得たニューラルネットワークの設計に刺激を与える洞察を提供する。
関連論文リスト
- Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。
結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文 参考訳（メタデータ） (2024-10-09T21:37:14Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Leveraging advances in machine learning for the robust classification and interpretation of networks [0.0]
シミュレーションアプローチでは、Erd"os-R'enyiやSmall-worldのような適切なネットワーク生成モデルを選択する。
我々は、解釈可能な機械学習の進歩を利用して、様々なネットワーク属性に基づいて、生成モデルによってシミュレーションされたネットワークを分類する。
論文 参考訳（メタデータ） (2024-03-20T00:24:23Z) - A Network Science perspective of Graph Convolutional Networks: A survey [11.18312489268624]
グラフ畳み込みネットワーク(GCN)のネットワーク科学的な視点を提供する。
GCNは、近隣の集約とメッセージパッシングを通じてノード機能をグラフ構造に統合する。
我々の新しい分類法は、GCNを3つの構造情報アングル、すなわち、レイヤワイドメッセージアグリゲーションスコープ、メッセージ内容、および全体的な学習範囲から分類する。
論文 参考訳（メタデータ） (2023-01-12T06:03:57Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
論文 参考訳（メタデータ） (2021-10-21T23:49:23Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。