論文の概要: Learning predictable and robust neural representations by straightening image sequences

• arxiv url: http://arxiv.org/abs/2411.01777v1
• Date: Mon, 04 Nov 2024 03:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:39:41.821201
• Title: Learning predictable and robust neural representations by straightening image sequences
• Title（参考訳）: 画像列のストレート化による予測可能かつロバストなニューラル表現の学習
• Authors: Xueyan Niu, Cristina Savin, Eero P. Simoncelli,
• Abstract要約: 我々は、ストレートニングを明確に定量化し、促進する自己教師型学習(SSL)の目標を開発する。 本研究では、この目的が、スムーズにレンダリングされた合成画像シーケンス上で、ディープフィードフォワードニューラルネットワークをトレーニングする際の効果を実証する。
• 参考スコア（独自算出の注目度）: 16.504807843249196
• License:
• Abstract: Prediction is a fundamental capability of all living organisms, and has been proposed as an objective for learning sensory representations. Recent work demonstrates that in primate visual systems, prediction is facilitated by neural representations that follow straighter temporal trajectories than their initial photoreceptor encoding, which allows for prediction by linear extrapolation. Inspired by these experimental findings, we develop a self-supervised learning (SSL) objective that explicitly quantifies and promotes straightening. We demonstrate the power of this objective in training deep feedforward neural networks on smoothly-rendered synthetic image sequences that mimic commonly-occurring properties of natural videos. The learned model contains neural embeddings that are predictive, but also factorize the geometric, photometric, and semantic attributes of objects. The representations also prove more robust to noise and adversarial attacks compared to previous SSL methods that optimize for invariance to random augmentations. Moreover, these beneficial properties can be transferred to other training procedures by using the straightening objective as a regularizer, suggesting a broader utility for straightening as a principle for robust unsupervised learning.
• Abstract（参考訳）: 予測はすべての生物の基本的な能力であり、感覚表現の学習の目的として提案されている。 最近の研究は、霊長類視覚系において、予測は、線形外挿による予測を可能にする最初の光受容体エンコーディングよりも真直な時間的軌跡に従う神経表現によって促進されることを示した。 これらの実験結果から着想を得て, ストレート化を明確化し促進する自己教師型学習目標(SSL)を開発した。 本研究では,この目的が,自然ビデオの通常発生する特性を模倣したスムーズな合成画像系列上での深層フィードフォワードニューラルネットワークのトレーニングにおける効果を実証する。 学習されたモデルは、予測可能なニューラルネットワークを含むだけでなく、幾何学的、測光的、意味的なオブジェクトの属性を分解する。 これらの表現は、乱数拡張への不変性を最適化する以前のSSLメソッドと比較して、ノイズや敵攻撃に対してより堅牢であることを示す。 さらに、これらの有益性は、正則化目的を正則化として使用することにより、他の訓練手順に移行することができ、堅牢な教師なし学習の原則として、より広範な正則化のためのユーティリティを提案できる。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
  自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。 具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。 このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
  論文  参考訳（メタデータ） (2024-10-25T15:39:34Z)
• Brain-like representational straightening of natural movies in robust feedforward neural networks [2.8749107965043286]
  表現の直線化(Representational straightening)とは、自然映画から撮影された一連のフレームの視覚的特徴表現の曲率を減少させることである。 入力画像中の雑音に対するロバスト性は、フィードフォワードニューラルネットワークにおいて表現的ストレート化をもたらす。
  論文  参考訳（メタデータ） (2023-08-26T13:04:36Z)
• A polar prediction model for learning to represent visual transformations [10.857320773825357]
  本稿では,自然映像の規則性を利用して正確な予測を行う自己教師付き表現学習フレームワークを提案する。 自然なビデオデータセットをトレーニングすると、従来の動き補償よりも優れた予測性能が得られる。 我々のフレームワークは、視覚システムが時間的予測を単純化する形で感覚入力をどのように表現するかを理解するための、原則化されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-03-06T19:00:59Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Feature visualization for convolutional neural network models trained on neuroimaging data [0.0]
  畳み込みニューラルネットワーク(CNN)の機能可視化による最初の結果を示す。 我々は、MRIデータに基づく性分類や人為的病変分類など、さまざまなタスクのためにCNNを訓練した。 得られた画像は、その形状を含む人工的な病変の学習概念を明らかにするが、性分類タスクにおける抽象的な特徴を解釈することは困難である。
  論文  参考訳（メタデータ） (2022-03-24T15:24:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Personal Representations from fMRIby Predicting Neurofeedback Performance [52.77024349608834]
  機能的MRI(fMRI)によって導かれる自己神経変調タスクを行う個人のための個人表現を学習するためのディープニューラルネットワーク手法を提案する。 この表現は、直近のfMRIフレームが与えられた次のfMRIフレームにおける扁桃体活動を予測する自己教師型リカレントニューラルネットワークによって学習され、学習された個々の表現に条件付けされる。
  論文  参考訳（メタデータ） (2021-12-06T10:16:54Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。