論文の概要: Layer Collaboration in the Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2305.12393v1
• Date: Sun, 21 May 2023 08:12:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 20:52:51.667585
• Title: Layer Collaboration in the Forward-Forward Algorithm
• Title（参考訳）: フォワードアルゴリズムにおける層協調
• Authors: Guy Lorberbom, Itai Gat, Yossi Adi, Alex Schwing, Tamir Hazan
• Abstract要約: フォワードフォワードアルゴリズムにおける層間協調について検討する。 ネットワーク内の情報の流れを考慮した場合, フォワードアルゴリズムの現在のバージョンが最適であることを示す。 ネットワーク構造をよりよく活用するために,レイヤコラボレーションをサポートする改良版を提案する。
• 参考スコア（独自算出の注目度）: 28.856139738073626
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Backpropagation, which uses the chain rule, is the de-facto standard algorithm for optimizing neural networks nowadays. Recently, Hinton (2022) proposed the forward-forward algorithm, a promising alternative that optimizes neural nets layer-by-layer, without propagating gradients throughout the network. Although such an approach has several advantages over back-propagation and shows promising results, the fact that each layer is being trained independently limits the optimization process. Specifically, it prevents the network's layers from collaborating to learn complex and rich features. In this work, we study layer collaboration in the forward-forward algorithm. We show that the current version of the forward-forward algorithm is suboptimal when considering information flow in the network, resulting in a lack of collaboration between layers of the network. We propose an improved version that supports layer collaboration to better utilize the network structure, while not requiring any additional assumptions or computations. We empirically demonstrate the efficacy of the proposed version when considering both information flow and objective metrics. Additionally, we provide a theoretical motivation for the proposed method, inspired by functional entropy theory.
• Abstract（参考訳）: チェーンルールを用いるバックプロパゲーション(backpropagation)は、ニューラルネットワークを最適化するためのデファクト標準アルゴリズムである。 近年、ヒントン (2022) は、ネットワーク全体の勾配を伝搬することなく、層毎のニューラルネットを最適化する有望な方法であるフォワードアルゴリズムを提案した。 このような手法はバックプロパゲーションよりもいくつかの利点があり、有望な結果を示すが、各層が独立して訓練されているという事実は最適化プロセスを制限している。 具体的には、ネットワークのレイヤが協調して複雑でリッチな機能を学ぶのを防ぐ。 本研究では,フォワードアルゴリズムにおける層協調について検討する。 本研究では,ネットワーク内の情報フローを考慮した場合,フォワードアルゴリズムの現在のバージョンは最適ではないことを示す。 追加の仮定や計算を必要とせず,ネットワーク構造をより活用するためにレイヤコラボレーションをサポートする改良版を提案する。 情報フローと客観的指標の両方を考慮すると,提案手法の有効性を実証的に示す。 さらに,関数エントロピー理論に触発された提案手法の理論的動機を与える。

関連論文リスト

• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Optimisation & Generalisation in Networks of Neurons [8.078758339149822]
  この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。 アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。 ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
  論文  参考訳（メタデータ） (2022-10-18T18:58:40Z)
• CCasGNN: Collaborative Cascade Prediction Based on Graph Neural Networks [0.49269463638915806]
  カスケード予測は,ネットワーク内の情報拡散をモデル化することを目的とした。 グラフニューラルネットワークとリカレントニューラルネットワークによるネットワーク構造とシーケンス特徴の組み合わせに関する研究 本稿では,個々のプロファイル,構造特徴,シーケンス情報を考慮した新しいCCasGNNを提案する。
  論文  参考訳（メタデータ） (2021-12-07T11:37:36Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Recurrent Graph Neural Network Algorithm for Unsupervised Network Community Detection [0.0]
  本稿では,モジュール性最適化による非教師付きネットワークコミュニティ検出のための再帰グラフニューラルネットワークアルゴリズムの新しい変種を提案する。 新しいアルゴリズムのパフォーマンスは、人気があり高速なLouvain法と、最近著者が提案したより効率的だが遅いComboアルゴリズムと比較される。
  論文  参考訳（メタデータ） (2021-03-03T16:50:50Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
  本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。 提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
  論文  参考訳（メタデータ） (2020-04-05T20:53:11Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。