論文の概要: The Convergence of Dynamic Routing between Capsules
- arxiv url: http://arxiv.org/abs/2501.06240v1
- Date: Wed, 08 Jan 2025 13:26:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 20:43:59.173715
- Title: The Convergence of Dynamic Routing between Capsules
- Title（参考訳）: カプセル間の動的ルーティングの収束
- Authors: Daoyuan Ye, Juntao Li, Yiting Shen,
- Abstract要約: カプセルネットワーク(CapsNet)は、最近、新しい処理層を持つニューラルネットワークモデルとして提案されている。
本稿では,コンケーブ関数である動的ルーティングアルゴリズムによって最小化される目的関数について述べる。
対象関数と動的ルーティングアルゴリズムが解いた制約の関係を詳細に分析し、対応するルーティング実験を行い、収束証明の効果を分析する。
- 参考スコア（独自算出の注目度）: 14.622877413421204
- License:
- Abstract: Capsule networks(CapsNet) are recently proposed neural network models with new processing layers, specifically for entity representation and discovery of images. It is well known that CapsNet have some advantages over traditional neural networks, especially in generalization capability. At the same time, some studies report negative experimental results. The causes of this contradiction have not been thoroughly analyzed. The preliminary experimental results show that the behavior of routing algorithms does not always produce good results as expected, and in most cases, different routing algorithms do not change the classification results, but simply polarize the link strength, especially when they continue to repeat without stopping. To realize the true potential of the CapsNet, deep mathematical analysis of the routing algorithms is crucial. In this paper, we will give the objective function that is minimized by the dynamic routing algorithm, which is a concave function. The dynamic routing algorithm can be regarded as nonlinear gradient method to solving an optimization algorithm under linear constraints, and its convergence can be strictly proved mathematically. Furthermore, the mathematically rigorous proof of the convergence is given for this class of iterative routing procedures. We analyze the relation between the objective function and the constraints solved by the dynamic routing algorithm in detail, and perform the corresponding routing experiment to analyze the effect of our convergence proof.
- Abstract（参考訳）: カプセルネットワーク(CapsNet)は、最近、新しい処理層を持つニューラルネットワークモデルとして提案されている。
CapsNetは、特に一般化能力において、従来のニューラルネットワークに対していくつかの利点があることはよく知られている。
同時に、いくつかの研究では否定的な実験結果が報告されている。
この矛盾の原因は、完全には分析されていない。
予備的な実験結果から、ルーティングアルゴリズムの挙動は必ずしも期待通りに良い結果をもたらすわけではなく、ほとんどの場合、異なるルーティングアルゴリズムは分類結果を変更せず、特に停止せずに繰り返し続ける場合、単にリンク強度を分極する。
CapsNetの真の可能性を実現するためには、ルーティングアルゴリズムの詳細な数学的解析が不可欠である。
本稿では,コンケーブ関数である動的ルーティングアルゴリズムによって最小化される目的関数について述べる。
動的ルーティングアルゴリズムは線形制約の下で最適化アルゴリズムを解く非線形勾配法とみなすことができ、その収束性は数学的に厳密に証明できる。
さらに、このクラスの反復的ルーティング手順に対して、数学的に厳密な収束の証明を与える。
対象関数と動的ルーティングアルゴリズムが解いた制約の関係を詳細に分析し、対応するルーティング実験を行い、収束証明の効果を分析する。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - A Globally Convergent Algorithm for Neural Network Parameter
Optimization Based on Difference-of-Convex Functions [29.58728073957055]
隠れ層ネットワークのパラメータを最適化するアルゴリズムを提案する。
具体的には,ブロックワイズ(DC-of-the-art)差分関数を導出する。
論文 参考訳（メタデータ） (2024-01-15T19:53:35Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - Proxy Convexity: A Unified Framework for the Analysis of Neural Networks
Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。
既存の保証は勾配降下により統一することができることを示す。
論文 参考訳（メタデータ） (2021-06-25T17:45:00Z) - Routing Towards Discriminative Power of Class Capsules [7.347145775695176]
本稿では,効率よく解ける正規化二次計画問題を含むルーティングアルゴリズムを提案する。
mnist,mnist-fashion,cifar-10の実験を行い,既存のカプセルネットワークと比較して競合分類結果を示す。
論文 参考訳（メタデータ） (2021-03-07T05:49:38Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳（メタデータ） (2020-10-25T17:10:22Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-05T02:25:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。