論文の概要: Continual Learning of Conjugated Visual Representations through Higher-order Motion Flows

• arxiv url: http://arxiv.org/abs/2409.11441v1
• Date: Mon, 16 Sep 2024 19:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 22:12:27.434027
• Title: Continual Learning of Conjugated Visual Representations through Higher-order Motion Flows
• Title（参考訳）: 高次運動流による共役視覚表現の連続学習
• Authors: Simone Marullo, Matteo Tiezzi, Marco Gori, Stefano Melacci,
• Abstract要約: ニューラルネットワークによる学習は、データの非i.d.な性質のため、いくつかの課題を提示している。 また、情報の流れに整合した表現を開発する新しい機会を提供する。 本稿では,複数動作による制約を受ける画素ワイド特徴の教師なし連続学習の事例について検討する。
• 参考スコア（独自算出の注目度）: 21.17248975377718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning with neural networks from a continuous stream of visual information presents several challenges due to the non-i.i.d. nature of the data. However, it also offers novel opportunities to develop representations that are consistent with the information flow. In this paper we investigate the case of unsupervised continual learning of pixel-wise features subject to multiple motion-induced constraints, therefore named motion-conjugated feature representations. Differently from existing approaches, motion is not a given signal (either ground-truth or estimated by external modules), but is the outcome of a progressive and autonomous learning process, occurring at various levels of the feature hierarchy. Multiple motion flows are estimated with neural networks and characterized by different levels of abstractions, spanning from traditional optical flow to other latent signals originating from higher-level features, hence called higher-order motions. Continuously learning to develop consistent multi-order flows and representations is prone to trivial solutions, which we counteract by introducing a self-supervised contrastive loss, spatially-aware and based on flow-induced similarity. We assess our model on photorealistic synthetic streams and real-world videos, comparing to pre-trained state-of-the art feature extractors (also based on Transformers) and to recent unsupervised learning models, significantly outperforming these alternatives.
• Abstract（参考訳）: 連続した視覚情報のストリームからニューラルネットワークで学習することは、データの非i.d.性に起因するいくつかの課題を提示する。 しかし、情報の流れに整合した表現を開発する新しい機会も提供する。 本稿では,複数の動きによる制約を受ける画素単位の特徴の教師なし連続学習の事例について考察する。 既存のアプローチとは違って、動きは与えられた信号ではなく、特徴階層の様々なレベルで発生する進歩的で自律的な学習プロセスの結果である。 複数の動きの流れはニューラルネットワークで推定され、従来の光学的流れから高次運動と呼ばれる高次特徴から派生した他の潜伏信号まで、様々なレベルの抽象化によって特徴づけられる。 連続的に一貫した多次フローと表現を学習することは、自監督的コントラスト損失、空間的認識、フロー誘起類似性に基づく、自監督的コントラスト損失を導入することで、自作のソリューションに対処する傾向がある。 我々は,光合成ストリームと実世界のビデオを用いて,事前訓練された最先端機能抽出器(トランスフォーマーにもとづく)と最近の教師なし学習モデルと比較し,これらの選択肢を著しく上回る結果を得た。

関連論文リスト

• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)
• A Broad Study on the Transferability of Visual Representations with Contrastive Learning [15.667240680328922]
  線形評価, 全ネットワーク転送, 数ショット認識のための造影的アプローチの学習表現の伝達性について検討する。 その結果、コントラスト的アプローチは、異なる下流タスクに簡単に移行できる表現を学習できることが示される。 分析の結果, コントラスト的アプローチから得られた表現は, クロスエントロピーモデルよりも低レベル・中レベルセマンティクスを含んでいることがわかった。
  論文  参考訳（メタデータ） (2021-03-24T22:55:04Z)
• Social NCE: Contrastive Learning of Socially-aware Motion Representations [87.82126838588279]
  実験結果から, 提案手法は最近の軌道予測, 行動クローニング, 強化学習アルゴリズムの衝突速度を劇的に低減することがわかった。 本手法は,ニューラルネットワークの設計に関する仮定をほとんど示さないため,神経運動モデルのロバスト性を促進する汎用的手法として使用できる。
  論文  参考訳（メタデータ） (2020-12-21T22:25:06Z)
• Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion [63.18340058854517]
  動的3次元シーンに対する非剛性残留流とエゴ運動流の連成推定によるエンドツーエンドのシーンフロー学習法を提案する。 我々は、点クラウドシーケンスの時間的一貫性性に基づいて、自己監督的な信号で教師付きフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-09-22T11:39:19Z)
• Hierarchical Contrastive Motion Learning for Video Action Recognition [100.9807616796383]
  本稿では,映像フレームから効果的な動き表現を抽出する自己教師型学習フレームワークである階層型コントラスト学習を提案する。 提案手法は,ネットワーク内の異なる抽象レベルに対応する動作特徴の階層構造を段階的に学習する。 私たちのモーション学習モジュールは軽量で柔軟性があり、様々なバックボーンネットワークに組み込むことができます。
  論文  参考訳（メタデータ） (2020-07-20T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。