論文の概要: Contrastive Forward-Forward: A Training Algorithm of Vision Transformer
- arxiv url: http://arxiv.org/abs/2502.00571v1
- Date: Sat, 01 Feb 2025 21:41:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:02:25.455136
- Title: Contrastive Forward-Forward: A Training Algorithm of Vision Transformer
- Title（参考訳）: コントラストフォワード:視覚変換器のトレーニングアルゴリズム
- Authors: Hossein Aghagolzadeh, Mehdi Ezoji,
- Abstract要約: Forward-Forwardは、脳内で起きていることに近い新しいトレーニングアルゴリズムだ。
本研究では,このアルゴリズムを,より複雑で現代的なネットワークであるビジョントランスフォーマーに拡張した。
提案アルゴリズムは,精度を最大10%向上し,Vision Transformerの収束速度を5～20倍に向上させる。
- 参考スコア（独自算出の注目度）: 1.6574413179773757
- License:
- Abstract: Although backpropagation is widely accepted as a training algorithm for artificial neural networks, researchers are always looking for inspiration from the brain to find ways with potentially better performance. Forward-Forward is a new training algorithm that is more similar to what occurs in the brain, although there is a significant performance gap compared to backpropagation. In the Forward-Forward algorithm, the loss functions are placed after each layer, and the updating of a layer is done using two local forward passes and one local backward pass. Forward-Forward is in its early stages and has been designed and evaluated on simple multi-layer perceptron networks to solve image classification tasks. In this work, we have extended the use of this algorithm to a more complex and modern network, namely the Vision Transformer. Inspired by insights from contrastive learning, we have attempted to revise this algorithm, leading to the introduction of Contrastive Forward-Forward. Experimental results show that our proposed algorithm performs significantly better than the baseline Forward-Forward leading to an increase of up to 10% in accuracy and boosting the convergence speed by 5 to 20 times on Vision Transformer. Furthermore, if we take Cross Entropy as the baseline loss function in backpropagation, it will be demonstrated that the proposed modifications to the baseline Forward-Forward reduce its performance gap compared to backpropagation on Vision Transformer, and even outperforms it in certain conditions, such as inaccurate supervision.
- Abstract（参考訳）: バックプロパゲーションは、ニューラルネットワークのトレーニングアルゴリズムとして広く受け入れられているが、研究者は常に脳からのインスピレーションを求めており、パフォーマンスが向上する可能性がある。
フォワードフォワード(Forward-Forward)は、バックプロパゲーションに比べて大きなパフォーマンス差があるにもかかわらず、脳内で起こることに近い新しいトレーニングアルゴリズムである。
Forward-Forwardアルゴリズムでは、各層に損失関数を配置し、2つのローカルフォワードパスと1つのローカルバックワードパスを用いてレイヤの更新を行う。
Forward-Forwardはその初期段階にあり、画像分類タスクを解決するための単純な多層パーセプトロンネットワークの設計と評価を行っている。
本研究では,このアルゴリズムを,より複雑で現代的なネットワークであるビジョントランスフォーマーに拡張した。
対照的な学習からの洞察に触発されて、我々はこのアルゴリズムを改訂しようと試み、コントラッシブ・フォワードの導入につながった。
実験の結果,提案アルゴリズムはベースラインフォワードよりも高い性能を示し,精度が最大10%向上し,Vision Transformerでは収束速度が5～20倍向上した。
さらに, バックプロパゲーションにおけるベースライン損失関数としてクロスエントロピー(Cross Entropy)を用いると, ビジョントランスフォーマーのバックプロパゲーションに比べて, ベースラインの前方修正が性能ギャップを低減し, 不正確な監視などの条件下でも性能が向上することを示した。
関連論文リスト
- Preventing Local Pitfalls in Vector Quantization via Optimal Transport [77.15924044466976]
我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。
画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
論文 参考訳（メタデータ） (2024-12-19T18:58:14Z) - Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。
この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
論文 参考訳（メタデータ） (2024-09-28T13:24:11Z) - A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文 参考訳（メタデータ） (2023-09-21T10:14:53Z) - Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。
本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。
この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
論文 参考訳（メタデータ） (2023-03-20T16:49:40Z) - Backward Curriculum Reinforcement Learning [0.0]
現在の強化学習アルゴリズムは、前向きに生成された軌道を使ってエージェントを訓練する。
十分な探索から強化学習の価値を実現する一方で、このアプローチはサンプル効率を失う際のトレードオフにつながる。
本稿では,従来の前進路ではなく,後進路を用いてエージェントを訓練する新しい後進カリキュラム強化学習を提案する。
論文 参考訳（メタデータ） (2022-12-29T08:23:39Z) - ProFormer: Learning Data-efficient Representations of Body Movement with
Prototype-based Feature Augmentation and Visual Transformers [31.908276711898548]
身体からのデータ効率の高い認識法は、画像のような配列として構造化された骨格配列をますます活用している。
我々は、このパラダイムをトランスフォーマーネットワークの観点から見て、初めて、骨格運動のデータ効率の高いエンコーダとして視覚トランスフォーマーを探索する。
私たちのパイプラインでは、画像のような表現としてキャストされたボディポーズシーケンスをパッチ埋め込みに変換し、深いメトリック学習に最適化されたビジュアルトランスフォーマーバックボーンに渡します。
論文 参考訳（メタデータ） (2022-02-23T11:11:54Z) - Perceptual Gradient Networks [4.897538221461331]
本稿では,前向きのパスを使わずに計算される知覚損失の近似を用いて,ジェネレータネットワークを訓練する方法を提案する。
我々は、知覚的損失の勾配場を直接合成する単純な知覚的勾配ネットワークを使用する。
論文 参考訳（メタデータ） (2021-05-05T09:58:22Z) - A Deep-Unfolded Reference-Based RPCA Network For Video
Foreground-Background Separation [86.35434065681925]
本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。
既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。
移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
論文 参考訳（メタデータ） (2020-10-02T11:40:09Z) - Retrospective Loss: Looking Back to Improve Training of Deep Neural
Networks [15.329684157845872]
我々は、ディープニューラルネットワークモデルのトレーニングを改善するために、新しい振り返り損失を導入する。
レトロスペクティブの損失を最小限に抑え、タスク固有の損失と共に、現在のトレーニングステップでパラメータ状態を最適なパラメータ状態にプッシュします。
簡単なアイデアではあるが、我々はこの手法を解析し、ドメイン全体にわたる包括的な実験を行う。
論文 参考訳（メタデータ） (2020-06-24T10:16:36Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-04-17T20:21:47Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。