論文の概要: Extending the Forward Forward Algorithm

• arxiv url: http://arxiv.org/abs/2307.04205v1
• Date: Sun, 9 Jul 2023 15:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 14:48:24.749272
• Title: Extending the Forward Forward Algorithm
• Title（参考訳）: forward アルゴリズムの拡張
• Authors: Saumya Gandhi, Ritu Gala, Jonah Kornberg, Advaith Sridhar
• Abstract要約: MNISTデータセット上でGeoffrey Hintonの実験を再現する。 我々は,IMDb映画レビューデータセット上で,フォワードフォワードネットワークのベースライン性能を確立する。 私たちが知る限り、この感情分析タスクの結果は、コンピュータビジョンを超えたアルゴリズムの拡張の最初の例である。
• 参考スコア（独自算出の注目度）: 1.448946342885513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Forward Forward algorithm, proposed by Geoffrey Hinton in November 2022, is a novel method for training neural networks as an alternative to backpropagation. In this project, we replicate Hinton's experiments on the MNIST dataset, and subsequently extend the scope of the method with two significant contributions. First, we establish a baseline performance for the Forward Forward network on the IMDb movie reviews dataset. As far as we know, our results on this sentiment analysis task marks the first instance of the algorithm's extension beyond computer vision. Second, we introduce a novel pyramidal optimization strategy for the loss threshold - a hyperparameter specific to the Forward Forward method. Our pyramidal approach shows that a good thresholding strategy causes a difference of upto 8% in test error. 1 Lastly, we perform visualizations of the trained parameters and derived several significant insights, such as a notably larger (10-20x) mean and variance in the weights acquired by the Forward Forward network.
• Abstract（参考訳）: 2022年11月にGeoffrey Hintonによって提案されたフォワードフォワードアルゴリズムは、バックプロパゲーションの代わりにニューラルネットワークをトレーニングするための新しい方法である。 本プロジェクトでは,mnistデータセットにおける hinton の実験を再現し,その手法の範囲を2つの重要な貢献で拡張する。 まず,imdb movie reviewsデータセット上で,フォワードフォワードネットワークのベースライン性能を確立する。 私たちが知る限り、この感情分析タスクの結果は、コンピュータビジョンを超えたアルゴリズムの拡張の最初の例である。 第二に、損失閾値に対する新しいピラミッド最適化戦略、すなわちフォワードフォワード法に特有のハイパーパラメータを導入する。 我々のピラミッド的アプローチは、良好なしきい値戦略がテストエラーの最大8%の差を引き起こすことを示している。 最後に,訓練パラメータの可視化を行い,特に大きな (10-20x) 平均や前方ネットワークによって獲得された重みのばらつきなど,いくつかの重要な洞察を得た。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Learning to solve Bayesian inverse problems: An amortized variational inference approach using Gaussian and Flow guides [0.0]
  本研究では,ベイズ逆写像,すなわちデータから後部への写像を学習することで,リアルタイムな推論を可能にする手法を開発する。 我々のアプローチは、ニューラルネットワークの前方通過のコストで、所定の観測のための後部分布を提供する。
  論文  参考訳（メタデータ） (2023-05-31T16:25:07Z)
• Perturb Initial Features: Generalization of Neural Networks Under Sparse Features for Semi-supervised Node Classification [1.3190581566723918]
  グラフニューラルネットワーク(GNN)のための新しいデータ拡張戦略を提案する。 初期特徴と超平面の両方を反転させることで、学習可能なパラメータをより正確に更新する訓練スペースを新たに作成する。 実世界のデータセットを用いた実験により,提案手法はノード分類精度を46.5%向上させることができた。
  論文  参考訳（メタデータ） (2022-11-28T05:54:24Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
  本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。 学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。 その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-08-23T21:33:12Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。