論文の概要: The Forward-Forward Algorithm: Some Preliminary Investigations
- arxiv url: http://arxiv.org/abs/2212.13345v1
- Date: Tue, 27 Dec 2022 02:54:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 15:46:55.256215
- Title: The Forward-Forward Algorithm: Some Preliminary Investigations
- Title（参考訳）: 前向きアルゴリズム:いくつかの予備調査
- Authors: Geoffrey Hinton
- Abstract要約: フォワード・フォワードアルゴリズムは、フォワードパスとフォワードパスを2つのフォワードパスで置き換える。
正のパスと負のパスが時間内に分離できれば、負のパスはオフラインで行うことができる。
- 参考スコア（独自算出の注目度）: 91.3755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The aim of this paper is to introduce a new learning procedure for neural
networks and to demonstrate that it works well enough on a few small problems
to be worth further investigation. The Forward-Forward algorithm replaces the
forward and backward passes of backpropagation by two forward passes, one with
positive (i.e. real) data and the other with negative data which could be
generated by the network itself. Each layer has its own objective function
which is simply to have high goodness for positive data and low goodness for
negative data. The sum of the squared activities in a layer can be used as the
goodness but there are many other possibilities, including minus the sum of the
squared activities. If the positive and negative passes could be separated in
time, the negative passes could be done offline, which would make the learning
much simpler in the positive pass and allow video to be pipelined through the
network without ever storing activities or stopping to propagate derivatives.
- Abstract（参考訳）: 本研究の目的は、ニューラルネットワークの新しい学習手順を導入し、いくつかの小さな問題に十分対応し、さらなる研究に値することを実証することである。
forward-forwardアルゴリズムは、バックプロパゲーションの前方および後方のパスを2つのフォワードパスに置き換える。
各層は、単に正のデータに対して高い良さと負のデータに対して低い良さを持つ、独自の目的関数を持つ。
層内の二乗アクティビティの和は良さとして利用できるが、二乗アクティビティの和を減じるなど、他にも多くの可能性がある。
正のパスと負のパスが時間内に分離できた場合、負のパスはオフラインで実行され、正のパスで学習がずっと簡単になり、ビデオがアクティビティを保存したり、デリバティブを伝播するのを止めることなく、ネットワークを通ることができる。
関連論文リスト
- Forward Learning of Graph Neural Networks [17.79590285482424]
バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである
BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。
本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
論文 参考訳（メタデータ） (2024-03-16T19:40:35Z) - Rethinking Negative Pairs in Code Search [56.23857828689406]
我々は、重み項をInfoNCEに挿入する簡易で効果的なSoft-InfoNCE損失を提案する。
我々は,Soft-InfoNCEが学習したコード表現の分布を制御することと,より正確な相互情報推定の導出に与える影響を分析する。
論文 参考訳（メタデータ） (2023-10-12T06:32:42Z) - Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。
このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
論文 参考訳（メタデータ） (2023-07-11T11:53:25Z) - Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls
and New Benchmarking [66.83273589348758]
リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。
近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。
これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
論文 参考訳（メタデータ） (2023-06-18T01:58:59Z) - SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。
そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
論文 参考訳（メタデータ） (2022-10-21T07:18:05Z) - Generating Negative Samples for Sequential Recommendation [83.60655196391855]
逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。
アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。
4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
論文 参考訳（メタデータ） (2022-08-07T05:44:13Z) - Recursive Least-Squares Estimator-Aided Online Learning for Visual
Tracking [58.14267480293575]
オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。
これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。
我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
論文 参考訳（メタデータ） (2021-12-28T06:51:18Z) - Revisiting the Negative Data of Distantly Supervised Relation Extraction [17.00557139562208]
遠隔監視は、関係抽出のための多くのトレーニングサンプルを自動的に生成する。
また、ノイズラベルと不均衡なトレーニングデータという2つの大きな問題も発生している。
そこで我々はtextscReRe と呼ばれるパイプライン手法を提案し,文レベルの関係検出を行い,対象/対象抽出を行う。
論文 参考訳（メタデータ） (2021-05-21T06:44:19Z) - Training Neural Networks Using the Property of Negative Feedback to
Inverse a Function [0.0]
本稿では,関数の逆解析を行う負のフィードバックシステムの特性をニューラルネットワークのトレーニングに利用する方法について述べる。
本手法をMNISTデータセットに適用し,ニューラルネットワークのトレーニングに有効であることを示す結果を得た。
論文 参考訳（メタデータ） (2021-03-25T20:13:53Z) - SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文 参考訳（メタデータ） (2020-06-30T03:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。