論文の概要: An Analytic End-to-End Deep Learning Algorithm based on Collaborative Learning

• arxiv url: http://arxiv.org/abs/2305.18594v2
• Date: Wed, 31 May 2023 02:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 02:04:00.451482
• Title: An Analytic End-to-End Deep Learning Algorithm based on Collaborative Learning
• Title（参考訳）: 協調学習に基づくエンド・ツー・エンドディープラーニングアルゴリズム
• Authors: Sitan Li and Chien Chern Cheah
• Abstract要約: 本稿では, 完全連結ニューラルネットワーク(FNN)の終端深層学習におけるスムーズなアクティベーション機能を持つ収束解析について述べる。 提案手法は,潜在的な解答の問題を回避するとともに,解答の問題も容易には起こらない。
• 参考スコア（独自算出の注目度）: 5.710971447109949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In most control applications, theoretical analysis of the systems is crucial in ensuring stability or convergence, so as to ensure safe and reliable operations and also to gain a better understanding of the systems for further developments. However, most current deep learning methods are black-box approaches that are more focused on empirical studies. Recently, some results have been obtained for convergence analysis of end-to end deep learning based on non-smooth ReLU activation functions, which may result in chattering for control tasks. This paper presents a convergence analysis for end-to-end deep learning of fully connected neural networks (FNN) with smooth activation functions. The proposed method therefore avoids any potential chattering problem, and it also does not easily lead to gradient vanishing problems. The proposed End-to-End algorithm trains multiple two-layer fully connected networks concurrently and collaborative learning can be used to further combine their strengths to improve accuracy. A classification case study based on fully connected networks and MNIST dataset was done to demonstrate the performance of the proposed approach. Then an online kinematics control task of a UR5e robot arm was performed to illustrate the regression approximation and online updating ability of our algorithm.
• Abstract（参考訳）: ほとんどの制御応用において、システムの理論的解析は、安全で信頼性の高い操作を確実にし、さらなる発展のためにシステムをよりよく理解するために、安定性や収束を保証するために不可欠である。 しかし、現在のディープラーニング手法のほとんどは、経験的研究に重点を置いたブラックボックスアプローチである。 近年,非スムースreluアクティベーション関数に基づくエンド・ツー・エンドディープラーニングの収束解析が試みられ,制御タスクに対するおしゃべりに繋がる可能性がある。 本稿では, 完全連結ニューラルネットワーク(FNN)の終端深層学習におけるスムーズなアクティベーション機能を持つ収束解析について述べる。 したがって,提案手法は潜在的なおしゃべり問題を回避し,勾配消失問題も容易には生じない。 提案するEnd-to-Endアルゴリズムは,複数の2層完全接続ネットワークを同時に学習し,その強みをさらに組み合わせて精度を向上させる。 提案手法の性能を示すために,完全連結ネットワークとMNISTデータセットに基づく分類ケーススタディを行った。 次に,本アルゴリズムの回帰近似とオンライン更新能力を説明するために,ur5eロボットアームのオンライン運動制御タスクを行った。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• A Heuristically Assisted Deep Reinforcement Learning Approach for Network Slice Placement [0.7885276250519428]
  本稿では,Deep Reinforcement Learning(DRL)に基づくハイブリッド配置ソリューションと,Power of Two Choices原則に基づく専用最適化を提案する。 提案したHuristically-Assisted DRL (HA-DRL) は,他の最先端手法と比較して学習プロセスの高速化と資源利用の促進を可能にする。
  論文  参考訳（メタデータ） (2021-05-14T10:04:17Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Learning the Travelling Salesperson Problem Requires Rethinking Generalization [9.176056742068813]
  トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。 最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。 この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
  論文  参考訳（メタデータ） (2020-06-12T10:14:15Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning [3.8073142980733]
  教師なしのコントラスト学習は、ラベルのないデータから表現を学習するための強力な方法であることが証明されている。 この研究は、これらの教師なし手法の実践的成功に関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-02-17T14:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。