Fugu-MT 論文翻訳(概要): Digital implementations of deep feature extractors are intrinsically informative

論文の概要: Digital implementations of deep feature extractors are intrinsically informative

arxiv url: http://arxiv.org/abs/2502.15004v1
Date: Thu, 20 Feb 2025 19:58:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-24 16:10:08.053831
Title: Digital implementations of deep feature extractors are intrinsically informative
Title（参考訳）: 深部特徴抽出器のデジタル実装は本質的に有意義である
Authors: Max Getter,
Abstract要約: 我々は、統一された枠組みにおけるエネルギー伝播速度の上限を証明した。本研究では,1)離散領域入力信号を持つ特徴抽出器,2)畳み込みニューラルネットワーク(CNN)の散乱によるグローバル指数エネルギー減衰を示す。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Rapid information (energy) propagation in deep feature extractors is crucial to balance computational complexity versus expressiveness as a representation of the input. We prove an upper bound for the speed of energy propagation in a unified framework that covers different neural network models, both over Euclidean and non-Euclidean domains. Additional structural information about the signal domain can be used to explicitly determine or improve the rate of decay. To illustrate this, we show global exponential energy decay for a range of 1) feature extractors with discrete-domain input signals, and 2) convolutional neural networks (CNNs) via scattering over locally compact abelian (LCA) groups.
Abstract（参考訳）: 深い特徴抽出器における高速な情報(エネルギー)伝播は、入力の表現としての計算複雑性と表現性のバランスをとるために不可欠である。我々は、ユークリッド領域と非ユークリッド領域の両方で異なるニューラルネットワークモデルをカバーする統一されたフレームワークにおいて、エネルギー伝播速度の上限を証明した。信号領域に関する追加構造情報は、減衰率を明示的に決定または改善するために用いられる。これを説明するために、我々は大域的な指数エネルギーの崩壊を示す。 1)離散領域入力信号を持つ特徴抽出器、及び 2) 畳み込みニューラルネットワーク (CNN) は局所コンパクトアーベル群(LCA) に散乱する。

関連論文リスト

Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
論文参考訳（メタデータ） (2024-11-07T14:08:35Z)
Scalable spectral representations for multi-agent reinforcement learning in network MDPs [13.782868855372774]
マルチエージェント制御の一般的なモデルであるNetwork Markov Decision Processes (MDPs)は、効率的な学習に重大な課題をもたらす。まず、ネットワークMDPに対してスケーラブルなスペクトル局所表現を導出し、各エージェントの局所$Q$関数に対するネットワーク線形部分空間を誘導する。我々は,連続的な状態対応ネットワークMDPのためのスケーラブルなアルゴリズムフレームワークを設計し,アルゴリズムの収束をエンドツーエンドで保証する。
論文参考訳（メタデータ） (2024-10-22T17:45:45Z)
Spectral Informed Neural Network: An Efficient and Low-Memory PINN [3.8534287291074354]
本稿では、微分演算子を乗法で置き換えるスペクトルベースニューラルネットワークを提案する。 PINNと比較して、我々のアプローチはメモリの削減とトレーニング時間の短縮を必要とする。我々は、スペクトル情報を用いてネットワークを訓練する2つの戦略を提供する。
論文参考訳（メタデータ） (2024-08-29T10:21:00Z)
Spectral complexity of deep neural networks [2.099922236065961]
我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
論文参考訳（メタデータ） (2024-05-15T17:55:05Z)
TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文参考訳（メタデータ） (2024-04-15T06:01:48Z)
Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
論文参考訳（メタデータ） (2023-10-09T11:26:58Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Deep Neural Networks and PIDE discretizations [2.4063592468412276]
畳み込みニューラルネットワーク(CNN)の安定性と視野問題に対処するニューラルネットワークを提案する。本稿では,大域重み付きラプラス作用素,分数ラプラス作用素,分数逆ラプラス作用素に関連する積分型空間非局所作用素を提案する。自律運転における画像分類データセットとセマンティックセグメンテーションタスクのベンチマーク上で,提案したニューラルネットワークの有効性を検証した。
論文参考訳（メタデータ） (2021-08-05T08:03:01Z)
Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations [12.716429755564821]
DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。 DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
論文参考訳（メタデータ） (2021-01-18T02:30:13Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
BiDet: An Efficient Binarized Object Detector [96.19708396510894]
本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
論文参考訳（メタデータ） (2020-03-09T08:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。