論文の概要: Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams

• arxiv url: http://arxiv.org/abs/2204.12193v1
• Date: Tue, 26 Apr 2022 09:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 12:13:22.899303
• Title: Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams
• Title（参考訳）: ビデオストリームにおける連続学習のための注意軌道上の確率的コヒーレンス
• Authors: Matteo Tiezzi, Simone Marullo, Lapo Faggi, Enrico Meloni, Alessandro Betti and Stefano Melacci
• Abstract要約: 本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
• 参考スコア（独自算出の注目度）: 64.82800502603138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Devising intelligent agents able to live in an environment and learn by observing the surroundings is a longstanding goal of Artificial Intelligence. From a bare Machine Learning perspective, challenges arise when the agent is prevented from leveraging large fully-annotated dataset, but rather the interactions with supervisory signals are sparsely distributed over space and time. This paper proposes a novel neural-network-based approach to progressively and autonomously develop pixel-wise representations in a video stream. The proposed method is based on a human-like attention mechanism that allows the agent to learn by observing what is moving in the attended locations. Spatio-temporal stochastic coherence along the attention trajectory, paired with a contrastive term, leads to an unsupervised learning criterion that naturally copes with the considered setting. Differently from most existing works, the learned representations are used in open-set class-incremental classification of each frame pixel, relying on few supervisions. Our experiments leverage 3D virtual environments and they show that the proposed agents can learn to distinguish objects just by observing the video stream. Inheriting features from state-of-the art models is not as powerful as one might expect.
• Abstract（参考訳）: 環境に住み、周囲を観察して学ぶ知的エージェントを考案することは、人工知能の長年の目標である。 素の機械学習の観点からは、エージェントが大きな完全に注釈付けされたデータセットを活用するのを防ぎ、むしろ監督的な信号との相互作用は、空間と時間にわたってわずかに分散される。 本稿では,ビデオストリーム内の画素単位表現を漸進的かつ自律的に開発するためのニューラルネットワークに基づく新しい手法を提案する。 提案手法は,参加者の移動を観察することで,エージェントが学習できる,人間のような注意機構に基づいている。 注意軌道に沿った時空間的確率的コヒーレンス(英語版)は、対照的な用語と組み合わせて、自然に考慮された設定に対処する教師なし学習基準につながる。 ほとんどの既存の作品とは異なり、学習された表現は各フレームピクセルのオープンセットのクラス・インクリメンタルな分類に使われ、わずかな監督に依存する。 実験では,3次元仮想環境を活用し,提案するエージェントが映像ストリームを観察するだけで物体を識別できることを示す。 最先端のアートモデルから機能を継承することは、期待するほど強力ではない。

関連論文リスト

• Continual Learning of Conjugated Visual Representations through Higher-order Motion Flows [21.17248975377718]
  ニューラルネットワークによる学習は、データの非i.d.な性質のため、いくつかの課題を提示している。 また、情報の流れに整合した表現を開発する新しい機会を提供する。 本稿では,複数動作による制約を受ける画素ワイド特徴の教師なし連続学習の事例について検討する。
  論文  参考訳（メタデータ） (2024-09-16T19:08:32Z)
• Incorporating simulated spatial context information improves the effectiveness of contrastive learning models [1.4179832037924995]
  本稿では,既存のコントラスト学習手法を補完する,環境空間類似性(ESS)というユニークなアプローチを提案する。 ESSは部屋の分類や空間予測タスク、特に馴染みの無い環境での卓越した熟練を可能にします。 潜在的に変革的な応用は、ロボット工学から宇宙探査まで多岐にわたる。
  論文  参考訳（メタデータ） (2024-01-26T03:44:58Z)
• Adversarial Imitation Learning from Visual Observations using Latent Information [9.240917262195046]
  視覚的観察から模倣学習の課題に焦点をあて,学習エージェントが専門家の動画を唯一の学習源として利用できるようにする。 本研究では,非政治的敵対的模倣手法とエージェントの状態を観察シーケンスから学習した潜在的表現を組み合わせ,Relatnt Adversarial from Observationsというアルゴリズムを導入する。 高次元連続ロボットタスクの実験では、潜在空間におけるモデルフリーアプローチが最先端の性能と一致していることが示されている。
  論文  参考訳（メタデータ） (2023-09-29T16:20:36Z)
• Point Contrastive Prediction with Semantic Clustering for Self-Supervised Learning on Point Cloud Videos [71.20376514273367]
  本稿では,オブジェクト中心およびシーン中心のデータを対象とした一元的クラウドビデオ自己教師型学習フレームワークを提案する。 本手法は、広範囲の下流タスクにおいて教師付きタスクよりも優れる。
  論文  参考訳（メタデータ） (2023-08-18T02:17:47Z)
• Palm up: Playing in the Latent Manifold for Unsupervised Pretraining [31.92145741769497]
  本稿では,多種多様なデータセットを使用しながら探索行動を示すアルゴリズムを提案する。 私たちのキーとなるアイデアは、静的データセットに事前トレーニングされた深層生成モデルを活用し、潜在空間に動的モデルを導入することです。 次に、教師なし強化学習アルゴリズムを用いて、この環境を探索し、収集したデータに基づいて教師なし表現学習を行う。
  論文  参考訳（メタデータ） (2022-10-19T22:26:12Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• Trajectory annotation using sequences of spatial perception [0.0]
  近い将来、より多くのマシンが人間の空間の近くでタスクを実行するようになる。 この作業は、この課題に対処するための基盤を構築します。 本稿では,ニューラルオートエンコーディングに基づく教師なし学習手法を提案する。
  論文  参考訳（メタデータ） (2020-04-11T12:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。