論文の概要: Employing Layerwised Unsupervised Learning to Lessen Data and Loss Requirements in Forward-Forward Algorithms
- arxiv url: http://arxiv.org/abs/2404.14664v1
- Date: Tue, 23 Apr 2024 01:49:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 15:41:14.898268
- Title: Employing Layerwised Unsupervised Learning to Lessen Data and Loss Requirements in Forward-Forward Algorithms
- Title（参考訳）: 階層的教師なし学習による前向きアルゴリズムにおけるデータと損失要求の学習
- Authors: Taewook Hwang, Hyein Seo, Sangkeun Jung,
- Abstract要約: Forward-Forwardアルゴリズムは、フォワードパスのみを通してディープラーニングモデルを訓練する。
バックプロパゲーションを置き換えるために,教師なしフォワードアルゴリズムを提案する。
安定した学習を導き、さまざまなデータセットやタスクで汎用的な利用を可能にします。
- 参考スコア（独自算出の注目度）: 1.0514231683620516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent deep learning models such as ChatGPT utilizing the back-propagation algorithm have exhibited remarkable performance. However, the disparity between the biological brain processes and the back-propagation algorithm has been noted. The Forward-Forward algorithm, which trains deep learning models solely through the forward pass, has emerged to address this. Although the Forward-Forward algorithm cannot replace back-propagation due to limitations such as having to use special input and loss functions, it has the potential to be useful in special situations where back-propagation is difficult to use. To work around this limitation and verify usability, we propose an Unsupervised Forward-Forward algorithm. Using an unsupervised learning model enables training with usual loss functions and inputs without restriction. Through this approach, we lead to stable learning and enable versatile utilization across various datasets and tasks. From a usability perspective, given the characteristics of the Forward-Forward algorithm and the advantages of the proposed method, we anticipate its practical application even in scenarios such as federated learning, where deep learning layers need to be trained separately in physically distributed environments.
- Abstract（参考訳）: バックプロパゲーションアルゴリズムを利用したChatGPTなどの最近のディープラーニングモデルでは、顕著な性能を示した。
しかし、生物学的脳プロセスとバックプロパゲーションアルゴリズムの相違が指摘されている。
フォワード-フォワードアルゴリズムは、フォワードパスのみを通してディープラーニングモデルを訓練し、この問題に対処する。
Forward-Forwardアルゴリズムは、特別な入力や損失関数を使わなければならないといった制限のためにバックプロパゲーションを置き換えることはできないが、バックプロパゲーションが難しい特別な状況において有用である可能性がある。
この制限を回避し、ユーザビリティを検証するために、Unsupervised Forward-Forwardアルゴリズムを提案する。
教師なし学習モデルを使用することで、通常の損失関数と入力を制限なくトレーニングすることができる。
このアプローチを通じて、安定した学習を導き、さまざまなデータセットやタスクにまたがる汎用的な利用を可能にします。
ユーザビリティの観点からは、フォワード・フォワードアルゴリズムの特性と提案手法の利点を踏まえ、深層学習を物理的に分散した環境で個別に訓練する必要があるフェデレーション学習のようなシナリオにおいても、その実践的応用を期待する。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - S-EPOA: Overcoming the Indivisibility of Annotations with Skill-Driven Preference-Based Reinforcement Learning [7.8063180607224165]
嗜好に基づく強化学習(PbRL)は、直接報酬信号として人間の嗜好を使用する。
従来のPbRLメソッドは、しばしば、学習プロセスを妨げるアノテーションの多様化によって制約される。
論文 参考訳（メタデータ） (2024-08-22T04:54:25Z) - Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。
根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。
最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
論文 参考訳（メタデータ） (2024-08-12T15:02:26Z) - Training Neural Networks with Internal State, Unconstrained
Connectivity, and Discrete Activations [66.53734987585244]
真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。
このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。
このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
論文 参考訳（メタデータ） (2023-12-22T01:19:08Z) - A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文 参考訳（メタデータ） (2023-09-21T10:14:53Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Temporal Feature Alignment in Contrastive Self-Supervised Learning for
Human Activity Recognition [2.2082422928825136]
自己教師付き学習は通常、ラベルのないデータから深い特徴表現を学習するために使用される。
本稿では,時間空間に動的時間ワープアルゴリズムを組み込んで,時間次元で特徴を整列させる手法を提案する。
提案されたアプローチは、最近のSSLベースラインと比較して、ロバストな特徴表現を学習する大きな可能性を秘めている。
論文 参考訳（メタデータ） (2022-10-07T07:51:01Z) - Emphatic Algorithms for Deep Reinforcement Learning [43.17171330951343]
時間差学習アルゴリズムは関数近似とオフポリシーサンプリングを組み合わせると不安定になる。
強調時間差(ETD($lambda$)アルゴリズム)は、TD($lambda$)更新を適切に重み付けすることで線形の場合の収束を保証する。
本稿では,ETD($lambda$)をフォワードビュー・マルチステップ・リターンを用いた一般的な深層強化学習アルゴリズムに適用することにより,性能が低下することを示す。
論文 参考訳（メタデータ） (2021-06-21T12:11:39Z) - Unbiased Deep Reinforcement Learning: A General Training Framework for
Existing and Future Algorithms [3.7050607140679026]
本稿では、概念的に理解可能で、強化学習のための全ての実行可能なアルゴリズムに一般化し易い、新しいトレーニングフレームワークを提案する。
我々はモンテカルロサンプリングを用いて生のデータ入力を実現し、マルコフ決定プロセスシーケンスを達成するためにバッチでそれらを訓練する。
我々は、典型的な離散的かつ連続的なシナリオを扱うために、新しいフレームワークに埋め込まれたアルゴリズムをいくつか提案する。
論文 参考訳（メタデータ） (2020-05-12T01:51:08Z) - Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。
本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。
提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
論文 参考訳（メタデータ） (2020-04-29T10:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。