論文の概要: A Study of Forward-Forward Algorithm for Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2309.11955v2
- Date: Fri, 8 Dec 2023 13:46:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 18:29:07.232976
- Title: A Study of Forward-Forward Algorithm for Self-Supervised Learning
- Title（参考訳）: 自己指導型学習のためのフォワードフォワードアルゴリズムの検討
- Authors: Jonas Brenig, Radu Timofte
- Abstract要約: 本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
- 参考スコア（独自算出の注目度）: 65.268245109828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised representation learning has seen remarkable progress in the
last few years, with some of the recent methods being able to learn useful
image representations without labels. These methods are trained using
backpropagation, the de facto standard. Recently, Geoffrey Hinton proposed the
forward-forward algorithm as an alternative training method. It utilizes two
forward passes and a separate loss function for each layer to train the network
without backpropagation.
In this study, for the first time, we study the performance of
forward-forward vs. backpropagation for self-supervised representation learning
and provide insights into the learned representation spaces. Our benchmark
employs four standard datasets, namely MNIST, F-MNIST, SVHN and CIFAR-10, and
three commonly used self-supervised representation learning techniques, namely
rotation, flip and jigsaw.
Our main finding is that while the forward-forward algorithm performs
comparably to backpropagation during (self-)supervised training, the transfer
performance is significantly lagging behind in all the studied settings. This
may be caused by a combination of factors, including having a loss function for
each layer and the way the supervised training is realized in the
forward-forward paradigm. In comparison to backpropagation, the forward-forward
algorithm focuses more on the boundaries and drops part of the information
unnecessary for making decisions which harms the representation learning goal.
Further investigation and research are necessary to stabilize the
forward-forward strategy for self-supervised learning, to work beyond the
datasets and configurations demonstrated by Geoffrey Hinton.
- Abstract（参考訳）: 自己教師付き表現学習はここ数年で著しく進歩し、最近の手法のいくつかはラベルなしで有用な画像表現を学べるようになった。
これらの方法はデファクトスタンダードであるバックプロパゲーションを使って訓練される。
近年、Geoffrey Hinton は代替のトレーニング手法としてフォワードアルゴリズムを提案した。
バックプロパゲーションなしでネットワークをトレーニングするために、各レイヤに2つのフォワードパスと別個の損失関数を使用する。
本研究では,自己指導型表現学習における前向き対逆プロパゲーションのパフォーマンスを初めて研究し,学習した表現空間に対する洞察を提供する。
ベンチマークでは,mnist,f-mnist,svhn,cifar-10の4つの標準データセットと,ローテーション,フリップ,jigsawの3つの自己教師あり表現学習手法を用いた。
我々の主な発見は、フォワードアルゴリズムは(自己)教師付きトレーニングの間、バックプロパゲーションと相性が良いが、研究されたすべての設定において、転送性能は大幅に遅れていることである。
これは、各層に損失関数を持たせることや、教師付きトレーニングが前方のパラダイムで実現される方法など、さまざまな要因の組み合わせによって引き起こされる可能性がある。
バックプロパゲーションとは対照的に、フォワードフォワードアルゴリズムは境界をより重視し、表現学習目標を損なう決定を行うために不要な情報の一部をドロップする。
geoffrey hinton氏が示したデータセットと構成を超えて働くために、自己教師付き学習の前方戦略を安定化するために、さらなる調査と研究が必要である。
関連論文リスト
- SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。
本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。
本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
論文 参考訳（メタデータ） (2023-09-19T11:13:01Z) - Deepfake Detection via Joint Unsupervised Reconstruction and Supervised
Classification [25.84902508816679]
本稿では,再建作業と分類作業を同時に行うディープフェイク検出手法を提案する。
この方法は、あるタスクによって学習された情報を他のタスクと共有する。
提案手法は,一般的に使用されている3つのデータセットに対して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-11-24T05:44:26Z) - On minimal variations for unsupervised representation learning [19.055611167696238]
教師なし表現学習は、様々な下流タスクを解決するために、生データを効率的に記述することを目的としている。
教師なし表現学習の原則として最小限のバリエーションを考案することは、自己教師付き学習アルゴリズムの実践的ガイドラインを改善する道を開く。
論文 参考訳（メタデータ） (2022-11-07T18:57:20Z) - Visual processing in context of reinforcement learning [0.0]
この論文では、従来のRLアルゴリズムが使用するデータソースの異なるサブセットにアクセス可能な3つの異なる表現学習アルゴリズムを紹介している。
RL問題解決パイプラインに教師なし表現学習を含めれば、学習を高速化できると結論付けている。
論文 参考訳（メタデータ） (2022-08-26T09:30:51Z) - Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。
自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。
本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
論文 参考訳（メタデータ） (2021-07-05T03:53:42Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Reducing Representation Drift in Online Continual Learning [87.71558506591937]
私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。
この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
論文 参考訳（メタデータ） (2021-04-11T15:19:30Z) - Representation Learning by Ranking under multiple tasks [0.0]
近似的なNDCG損失を最適化することにより、複数のタスクにおける表現学習問題を解く。
分類、検索、マルチラベル学習、回帰、自己監督学習などの異なる学習タスクの下での実験は、近似NDCG損失の優位性を証明します。
論文 参考訳（メタデータ） (2021-03-28T09:36:36Z) - Can Semantic Labels Assist Self-Supervised Visual Representation
Learning? [194.1681088693248]
近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。
一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。
本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
論文 参考訳（メタデータ） (2020-11-17T13:25:00Z) - Evolving Losses for Unsupervised Video Representation Learning [91.2683362199263]
大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。
提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-02-26T16:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。