論文の概要: Direct Feedback Alignment Scales to Modern Deep Learning Tasks and Architectures

• arxiv url: http://arxiv.org/abs/2006.12878v2
• Date: Fri, 11 Dec 2020 14:31:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:24:26.607660
• Title: Direct Feedback Alignment Scales to Modern Deep Learning Tasks and Architectures
• Title（参考訳）: モダンなディープラーニングタスクとアーキテクチャへの直接フィードバックアライメント尺度
• Authors: Julien Launay, Iacopo Poli, Fran\c{c}ois Boniface, Florent Krzakala
• Abstract要約: 本稿では,ニューラルビュー合成,レコメンダシステム,幾何学学習,自然言語処理へのダイレクトフィードバックアライメントの適用性について検討する。 以上の結果から,最先端のディープラーニングアーキテクチャの訓練に成功し,その性能は微調整されたバックプロパゲーションに近いことがわかった。
• 参考スコア（独自算出の注目度）: 22.438735897480417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite being the workhorse of deep learning, the backpropagation algorithm is no panacea. It enforces sequential layer updates, thus preventing efficient parallelization of the training process. Furthermore, its biological plausibility is being challenged. Alternative schemes have been devised; yet, under the constraint of synaptic asymmetry, none have scaled to modern deep learning tasks and architectures. Here, we challenge this perspective, and study the applicability of Direct Feedback Alignment to neural view synthesis, recommender systems, geometric learning, and natural language processing. In contrast with previous studies limited to computer vision tasks, our findings show that it successfully trains a large range of state-of-the-art deep learning architectures, with performance close to fine-tuned backpropagation. At variance with common beliefs, our work supports that challenging tasks can be tackled in the absence of weight transport.
• Abstract（参考訳）: ディープラーニングのワークホースであるにも関わらず、バックプロパゲーションアルゴリズムはpanaceaではない。 シーケンシャルなレイヤ更新を実施することで、トレーニングプロセスの効率的な並列化を防止する。 さらに、生物学的な可能性にも疑問が呈されている。 代替スキームが考案されたが、シナプス非対称性の制約の下では、現代のディープラーニングタスクやアーキテクチャには拡張されていない。 本稿では,この視点に挑戦し,ニューラルビュー合成,レコメンダシステム,幾何学学習,自然言語処理への直接フィードバックアライメントの適用性について検討する。 コンピュータビジョンのタスクに限定されたこれまでの研究とは対照的に,最先端のディープラーニングアーキテクチャのトレーニングに成功し,パフォーマンスは微調整されたバックプロパゲーションに近いことが判明した。 共通の信念と異なり、我々の仕事は、重量輸送がない場合に挑戦的なタスクに取り組むことができることを支持しています。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations [66.53734987585244]
  真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。 このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。 このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
  論文  参考訳（メタデータ） (2023-12-22T01:19:08Z)
• Learning to Modulate Random Weights: Neuromodulation-inspired Neural Networks For Efficient Continual Learning [1.9580473532948401]
  生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。 学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
  論文  参考訳（メタデータ） (2022-04-08T21:12:13Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Heuristic Search Planning with Deep Neural Networks using Imitation, Attention and Curriculum Learning [1.0323063834827413]
  本稿では、最適計画模倣により、状態空間の遠い部分に関連する能力を学ぶためのネットワークモデルを提案する。 難易度の増加に伴う問題の創出における手法の限界に対処するために,新たに解決した問題インスタンスをトレーニングセットに追加するカリキュラム学習の利用を実演する。
  論文  参考訳（メタデータ） (2021-12-03T14:01:16Z)
• Learning to Learn with Feedback and Local Plasticity [9.51828574518325]
  我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。 実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
  論文  参考訳（メタデータ） (2020-06-16T22:49:07Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• Structure preserving deep learning [1.2263454117570958]
  深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。 ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。 既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
  論文  参考訳（メタデータ） (2020-06-05T10:59:09Z)
• Neural Topological SLAM for Visual Navigation [112.73876869904]
  意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。 本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-05-25T17:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。