論文の概要: High-Order Tensor Regression in Sparse Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2501.01239v1
- Date: Thu, 02 Jan 2025 12:59:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:12:51.860360
- Title: High-Order Tensor Regression in Sparse Convolutional Neural Networks
- Title（参考訳）: スパース畳み込みニューラルネットワークにおける高次テンソル回帰
- Authors: Roberto Dias Algarte,
- Abstract要約: 本稿では、現在の機械学習文献における従来の方法論とは大きく異なる、畳み込みに対する一般的なアプローチを示す。
その数学的側面において、このアプローチは単純で有利であることが証明され、特に高次テンソルが関与する場合に顕著である。
スパース畳み込みニューラルネットワークの一般的な見方の枠組みとして、ニューラルネットワークにおける回帰の合理的理論が開発されている。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This article presents a generic approach to convolution that significantly differs from conventional methodologies in the current Machine Learning literature. The approach, in its mathematical aspects, proved to be simple and advantageous, particularly when high-order tensors are involved. In this context, a rational theory of regression in neural networks is developed, as a framework for a generic view of sparse convolutional neural networks, the primary focus of this study. As a direct outcome, the classic Backpropagation Algorithmic is redefined to align with this rational tensor-based approach and presented in its simplest, most generic form.
- Abstract（参考訳）: 本稿では、現在の機械学習文献における従来の方法論とは大きく異なる、畳み込みに対する一般的なアプローチを示す。
数学的側面において、このアプローチは単純で有利であることが証明され、特に高次テンソルが関与する場合に顕著である。
この文脈では、スパース畳み込みニューラルネットワークの一般的な見方の枠組みとして、ニューラルネットワークにおける回帰の合理的理論が開発され、この研究の主要な焦点となっている。
直接的な結果として、古典的バックプロパゲーションアルゴリズムは、この有理テンソルベースのアプローチと整合するように再定義され、最も単純で最も一般的な形式で表される。
関連論文リスト
- Tensor-Based Foundations of Ordinary Least Squares and Neural Network Regression Models [0.0]
本稿では,通常の最小二乗モデルとニューラルネットワーク回帰モデルの数学的発展に対する新しいアプローチを紹介する。
解析と基本的な行列計算を活用することにより、両方のモデルの理論的基礎は慎重に詳細化され、完全なアルゴリズム形式に拡張される。
論文 参考訳（メタデータ） (2024-11-19T21:36:04Z) - Understanding Deep Learning via Notions of Rank [5.439020425819001]
この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。
特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。
明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
論文 参考訳（メタデータ） (2024-08-04T18:47:55Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳（メタデータ） (2023-04-29T11:46:53Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Implicit Regularization in Hierarchical Tensor Factorization and Deep
Convolutional Neural Networks [18.377136391055327]
本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。
これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。
我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
論文 参考訳（メタデータ） (2022-01-27T18:48:30Z) - Compressive Sensing and Neural Networks from a Statistical Learning
Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。
現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文 参考訳（メタデータ） (2020-10-29T15:05:43Z) - Complexity-based speciation and genotype representation for
neuroevolution [81.21462458089142]
本稿では、進化するネットワークを隠されたニューロンの数に基づいて種に分類する神経進化の種分化原理を提案する。
提案された種分化原理は、種および生態系全体における多様性の促進と保存を目的として設計されたいくつかの技術で採用されている。
論文 参考訳（メタデータ） (2020-10-11T06:26:56Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。
実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文 参考訳（メタデータ） (2020-02-19T16:00:47Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。