論文の概要: Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning

• arxiv url: http://arxiv.org/abs/2411.16695v1
• Date: Sun, 10 Nov 2024 01:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 05:11:05.834376
• Title: Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
• Title（参考訳）: Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
• Authors: Osvaldo M Velarde, Lucas C Parra,
• Abstract要約: 生物学的原理にインスパイアされたビジョンネットワークを導入する。 ネットワークは、過去の固定のシーケンスに基づいて、次の画像パッチ(固定)の表現を予測することによって学習する。 また,生物学的に非現実的な逆伝播を回避する学習アルゴリズムであるemphRecurrent-Forwardも導入した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Conventional computer vision models rely on very deep, feedforward networks processing whole images and trained offline with extensive labeled data. In contrast, biological vision relies on comparatively shallow, recurrent networks that analyze sequences of fixated image patches, learning continuously in real-time without explicit supervision. This work introduces a vision network inspired by these biological principles. Specifically, it leverages a joint embedding predictive architecture incorporating recurrent gated circuits. The network learns by predicting the representation of the next image patch (fixation) based on the sequence of past fixations, a form of self-supervised learning. We show mathematical and empirically that the training algorithm avoids the problem of representational collapse. We also introduce \emph{Recurrent-Forward Propagation}, a learning algorithm that avoids biologically unrealistic backpropagation through time or memory-inefficient real-time recurrent learning. We show mathematically that the algorithm implements exact gradient descent for a large class of recurrent architectures, and confirm empirically that it learns efficiently. This paper focuses on these theoretical innovations and leaves empirical evaluation of performance in downstream tasks, and analysis of representational similarity with biological vision for future work.
• Abstract（参考訳）: 従来のコンピュータビジョンモデルは、画像全体を処理する非常に深いフィードフォワードネットワークと、広範なラベル付きデータでトレーニングされたオフラインに依存している。 対照的に、生物学的ビジョンは、固定された画像パッチのシーケンスを分析し、明示的な監督なしにリアルタイムで継続的に学習する比較的浅い再帰的なネットワークに依存している。 この研究は、これらの生物学的原理にインスパイアされたビジョンネットワークを導入する。 具体的には、繰り返しゲート回路を組み込んだ結合埋め込み予測アーキテクチャを利用する。 ネットワークは、自己教師型学習の形式である過去の固定のシーケンスに基づいて、次の画像パッチ(固定)の表現を予測することによって学習する。 学習アルゴリズムが表現的崩壊の問題を回避していることを示す。 また,生物学的に非現実的な逆伝播を回避する学習アルゴリズムである「emph{recurrent-Forward Propagation」を導入する。 このアルゴリズムは, 大規模な再帰アーキテクチャに対して, 正確な勾配勾配を導出し, 効率よく学習できることを実証的に確認する。 本稿では,これらの理論的革新に焦点をあて,下流課題におけるパフォーマンスの実証的評価と,将来的な研究のための生物学的ビジョンとの表現的類似性の分析に焦点をあてる。

関連論文リスト

• Continually Learning Structured Visual Representations via Network Refinement with Rerelation [15.376349115976534]
  現在の機械学習パラダイムは、ニューラルネットワークのような連続的な表現に依存しており、パラメータを近似結果に反復的に調整する。 構造化された連続的な方法で視覚空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:18:27Z)
• Contrastive Representation Learning for Dynamic Link Prediction in Temporal Networks [1.9389881806157312]
  本稿では,時間ネットワークの表現を学習するための自己教師付き手法を提案する。 本稿では、時間的ネットワークの時間的参照経路を介して情報の流れをモデル化するための、繰り返しメッセージパッシングニューラルネットワークアーキテクチャを提案する。 提案手法は、Enron、COLAB、Facebookのデータセットでテストされる。
  論文  参考訳（メタデータ） (2024-08-22T22:50:46Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
  ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。 ネットワークの学習力学を様々な観点から研究する。
  論文  参考訳（メタデータ） (2021-10-21T23:49:23Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• On the Post-hoc Explainability of Deep Echo State Networks for Time Series Forecasting, Image and Video Classification [63.716247731036745]
  エコー状態ネットワークは、主に学習アルゴリズムの単純さと計算効率のために、時間を通じて多くのスターを惹きつけてきた。 本研究では,時間系列,画像,映像データを用いた学習タスクに適用した場合のエコー状態ネットワークの説明可能性について検討した。 本研究では,これらの反復モデルが把握した知識に関する理解可能な情報を抽出する3つの手法を提案する。
  論文  参考訳（メタデータ） (2021-02-17T08:56:33Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。