論文の概要: Higher Structures in Deep Learning
- arxiv url: http://arxiv.org/abs/2609.00472v1
- Date: Mon, 31 Aug 2026 23:22:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.135762
- Title: Higher Structures in Deep Learning
- Title(参考訳): ディープラーニングにおける高次構造
- Abstract要約: トレーニングニューラルネットワークにおける高純度現象の実証的研究を行う。
我々は,多層パーセプトロンのハイパーグラフィック的一般化を導入し,進化的アルゴリズムとの関係を探る。
- 参考スコア(独自算出の注目度): 13.022045946656661
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We provide an expository introduction on the importance of higher-arity tensor operations to deep learning. Then, we conduct a novel empirical investigation of higher-arity phenomenon in trained neural networks, introduce a hypergraphical generalization of the multilayer perceptron, and explore connections to evolutionary algorithms. We conclude with a discussion of promising directions for future research.
- Abstract(参考訳): 深層学習における高次テンソル演算の重要性を解説する。
そして、トレーニングニューラルネットワークにおける高アリティ現象の実験的研究を行い、多層パーセプトロンのハイパーグラフィック的一般化を導入し、進化的アルゴリズムとの関係を探る。
今後の研究の今後の方向性について検討する。
関連論文リスト
- Machine Learning and Control: Foundations, Advances, and Perspectives [0.0]
重畳制御性やアンサンブル制御性といった概念は、ディープニューラルネットワークの分類と表現特性に新たな洞察を与えることを示す。
また、動的ニューラルネットワークと静的ニューラルネットワークの関係についても検討する。
偏微分方程式の文脈で長い間確立されてきた拡散過程の古典的性質が、現代の生成人工知能の成功を説明するのにどのように貢献するかを述べる。
論文 参考訳(メタデータ) (2025-09-30T10:47:26Z) - Representation Understanding via Activation Maximization [13.88866465448849]
本稿では、畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)の両方に適用可能な統合された特徴可視化フレームワークを提案する。
従来のCNNと現代のViTの両方において、我々のアプローチの有効性を実証し、その一般化可能性と価値を強調した。
論文 参考訳(メタデータ) (2025-08-10T10:36:30Z) - Hypernym Bias: Unraveling Deep Classifier Training Dynamics through the Lens of Class Hierarchy [44.99833362998488]
分類問題における学習過程はラベルクラスタリングのレンズを通して理解することができると論じる。
具体的には、トレーニングの初期段階において、ネットワークが上位(高位)のカテゴリーを区別する傾向があることを観察する。
学習中に特徴多様体の進化を追跡する新しいフレームワークを導入し、クラス関係の階層構造がどのように現れるかを明らかにする。
論文 参考訳(メタデータ) (2025-02-17T18:47:01Z) - Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳(メタデータ) (2024-10-31T22:54:34Z) - Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。
結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文 参考訳(メタデータ) (2024-10-09T21:37:14Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳(メタデータ) (2024-04-22T09:40:07Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Understanding Convolutional Neural Networks from Theoretical Perspective
via Volterra Convolution [22.058311878382142]
本研究では,畳み込みニューラルネットワークと有限Volterra畳み込みの関係について検討する。
複雑なネットワークアーキテクチャに邪魔されることなく、ニューラルネットワークの全体的な特性を説明し、研究するための新しいアプローチを提供する。
論文 参考訳(メタデータ) (2021-10-19T12:07:46Z) - Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。
コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。
本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
論文 参考訳(メタデータ) (2021-07-07T18:42:45Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。