論文の概要: Towards Theoretical Understanding of Flexible Transmitter Networks via Approximation and Local Minima

• arxiv url: http://arxiv.org/abs/2111.06027v1
• Date: Thu, 11 Nov 2021 02:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-12 13:29:49.436567
• Title: Towards Theoretical Understanding of Flexible Transmitter Networks via Approximation and Local Minima
• Title（参考訳）: 近似と局所ミニマを用いたフレキシブル送信ネットワークの理論的理解に向けて
• Authors: Jin-Hui Wu, Shao-Qun Zhang, Yuan Jiang, Zhi-Hua Zhou
• Abstract要約: 近似と局所最小値の観点から一層FTNetの理論的性質を考察する。 その結果,FTNetは効率よく対象関数を表現でき,局所最小化には関心がないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 74.30120779041428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flexible Transmitter Network (FTNet) is a recently proposed bio-plausible neural network and has achieved competitive performance with the state-of-the-art models when handling temporal-spatial data. However, there remains an open problem about the theoretical understanding of FTNet. This work investigates the theoretical properties of one-hidden-layer FTNet from the perspectives of approximation and local minima. Under mild assumptions, we show that: i) FTNet is a universal approximator; ii) the approximation complexity of FTNet can be exponentially smaller than those of real-valued neural networks with feedforward/recurrent architectures and is of the same order in the worst case; iii) any local minimum of FTNet is the global minimum, which suggests that it is possible for local search algorithms to converge to the global minimum. Our theoretical results indicate that FTNet can efficiently express target functions and has no concern about local minima, which complements the theoretical blank of FTNet and exhibits the possibility for ameliorating the FTNet.
• Abstract（参考訳）: フレキシブルトランスミッタネットワーク(FTNet)は、最近提案されたバイオプレースブルニューラルネットワークであり、時空間データを扱う際の最先端モデルとの競合性能を実現している。 しかし、FTNetの理論的理解には未解決の問題がある。 本研究では,一層FTNetの理論的性質を近似と局所ミニマの観点から検討する。 軽微な仮定では、次のように示します。 一 FTNetは、普遍近似器である。 二 FTNetの近似複雑性は、フィードフォワード/リカレントアーキテクチャを持つ実数値ニューラルネットワークよりも指数関数的に小さくすることができ、最悪の場合において同じ順序である。 iii) ftnetの任意の局所最小値がグローバル最小値であり、局所探索アルゴリズムがグローバル最小値に収束可能であることを示唆する。 我々の理論的結果は,FTNetが効率的に対象関数を表現でき,FTNetの理論的空白を補完し,FTNetを改良する可能性を示す局所的ミニマを気にしていないことを示唆している。

関連論文リスト

• Learning Load Balancing with GNN in MPTCP-Enabled Heterogeneous Networks [13.178956651532213]
  本稿では,MP TCP 対応 HetNet の LB 問題に対処するグラフニューラルネットワーク (GNN) モデルを提案する。 従来のディープニューラルネットワーク(DNN)と比較して、提案したGNNベースのモデルには2つの重要な長所がある。
  論文  参考訳（メタデータ） (2024-10-22T15:49:53Z)
• Graph Neural Networks for Power Allocation in Wireless Networks with Full Duplex Nodes [10.150768420975155]
  ユーザ間の相互干渉のため、無線ネットワークにおける電力割り当て問題はしばしば自明ではない。 グラフグラフニューラルネットワーク(GNN)は、これらの問題に対処するための有望なアプローチとして最近登場し、無線ネットワークの基盤となるトポロジを活用するアプローチである。
  論文  参考訳（メタデータ） (2023-03-27T10:59:09Z)
• Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
  パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。 経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
  論文  参考訳（メタデータ） (2021-08-15T10:13:49Z)
• Fast Fourier Intrinsic Network [41.95712986029093]
  本稿ではスペクトル領域で動作する高速フーリエ固有ネットワークFFI-Netを提案する。 FFI-Netの重みはスペクトル領域で最適化されており、より高速な収束を可能にする。 MPI-Sintel、MIT Intrinsic、IIWデータセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-11-09T18:14:39Z)
• A non-causal FFTNet architecture for speech enhancement [18.583426581177278]
  FFTNetに基づく音声強調のための新しい並列・非因果・浅部波形領域アーキテクチャを提案する。 浅いネットワークを提案し、特定の制限内で非因果性を適用することで、提案されたFFTNetは、他のニューラルネットワークベースのアプローチと比較してはるかに少ないパラメータを使用する。
  論文  参考訳（メタデータ） (2020-06-08T10:49:04Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• Wireless Power Control via Counterfactual Optimization of Graph Neural Networks [124.89036526192268]
  本稿では,無線ネットワークにおけるダウンリンク電力制御の問題点について考察する。 コンカレントトランスミッション間の干渉を軽減するために,ネットワークトポロジを活用してグラフニューラルネットワークアーキテクチャを構築する。 次に、教師なし原始対実対実最適化手法を用いて最適電力配分決定を学習する。
  論文  参考訳（メタデータ） (2020-02-17T07:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。