論文の概要: Unsupervised Open-Vocabulary Object Localization in Videos

• arxiv url: http://arxiv.org/abs/2309.09858v1
• Date: Mon, 18 Sep 2023 15:20:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 12:40:36.803550
• Title: Unsupervised Open-Vocabulary Object Localization in Videos
• Title（参考訳）: ビデオにおける教師なしオープン語彙オブジェクトの定位
• Authors: Ke Fan, Zechen Bai, Tianjun Xiao, Dominik Zietlow, Max Horn, Zixu Zhao, Carl-Johann Simon-Gabriel, Mike Zheng Shou, Francesco Locatello, Bernt Schiele, Thomas Brox, Zheng Zhang, Yanwei Fu, Tong He
• Abstract要約: 近年,映像表現学習と事前学習型視覚言語モデルの進歩により,自己教師付き映像オブジェクトのローカライゼーションが大幅に向上したことを示す。 本稿では、まず、スロットアテンションアプローチを用いてビデオ内のオブジェクトをローカライズし、得られたスロットにテキストを割り当てる手法を提案する。
• 参考スコア（独自算出の注目度）: 120.97719398272919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we show that recent advances in video representation learning and pre-trained vision-language models allow for substantial improvements in self-supervised video object localization. We propose a method that first localizes objects in videos via a slot attention approach and then assigns text to the obtained slots. The latter is achieved by an unsupervised way to read localized semantic information from the pre-trained CLIP model. The resulting video object localization is entirely unsupervised apart from the implicit annotation contained in CLIP, and it is effectively the first unsupervised approach that yields good results on regular video benchmarks.
• Abstract（参考訳）: 本稿では,映像表現学習と事前学習型視覚言語モデルの進歩により,自己教師付き映像オブジェクトのローカライゼーションが大幅に向上したことを示す。 そこで本研究では,まず映像中のオブジェクトをスロットアテンションアプローチでローカライズし,得られたスロットにテキストを割り当てる手法を提案する。 後者は、事前訓練されたCLIPモデルから局所的なセマンティック情報を読み取る教師なしの方法によって実現される。 結果として得られるビデオオブジェクトのローカライゼーションは、CLIPに含まれる暗黙のアノテーションとは別に完全に教師なしであり、事実上、通常のビデオベンチマークで良い結果をもたらす最初の教師なしのアプローチである。

関連論文リスト

• Attention Guided CAM: Visual Explanations of Vision Transformer Guided by Self-Attention [2.466595763108917]
  本稿では,ViT に適応した注意誘導型可視化手法を提案する。 本手法は,クラスラベルのみを用いて,高精度なセマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティクスを提供する。
  論文  参考訳（メタデータ） (2024-02-07T03:43:56Z)
• Grounding Everything: Emerging Localization Properties in Vision-Language Transformers [51.260510447308306]
  事前学習された視覚言語(VL)モデルでは、微調整なしでゼロショットのオープン語彙オブジェクトローカライゼーションが可能であることを示す。 本稿では,CLIPSurgeryが自己注意経路に導入した価値価値注意の考え方を一般化するグラウンドング・エコノミクス・モジュール(GEM)を提案する。 セマンティックセグメンテーションのための様々なベンチマークタスクとデータセットに基づいて提案したGEMフレームワークを評価する。
  論文  参考訳（メタデータ） (2023-12-01T19:06:12Z)
• Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
  オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。 このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-15T17:58:11Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• Learning Actor-centered Representations for Action Localization in Streaming Videos using Predictive Learning [18.757368441841123]
  ストリーミングビデオのアクションの認識やローカライズなどのイベント認識タスクは、視覚的な理解タスクに取り組む上で不可欠です。 我々は,連続的階層的予測学習という概念を通じて,テクスタクタ中心の表現を学習する問題に取り組む。 イベント知覚の認知理論に触発され、新しい自己監督型フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-29T06:06:58Z)
• Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos [63.94898634140878]
  ビデオ中の時間的言語ローカライゼーションは、与えられた文クエリに基づいて、ビデオセグメントの1つを未トリミングビデオにグラウンドすることを目的としている。 本稿では,2つのクエリ・ビデオ・インフォーム抽出のための反復的注意モジュールからなる細粒度反復注意ネットワーク(FIAN)を提案する。 本稿では,Ac-tivityNet Captions,TACoS,Charades-STAの3つのベンチマークで提案手法を評価した。
  論文  参考訳（メタデータ） (2020-08-06T04:09:03Z)
• Unsupervised Learning of Video Representations via Dense Trajectory Clustering [86.45054867170795]
  本稿では,ビデオにおける行動認識のための表現の教師なし学習の課題に対処する。 まず、このクラスの2つのトップパフォーマンス目標(インスタンス認識と局所集約)を適用することを提案する。 有望な性能を観察するが、定性的解析により、学習した表現が動きのパターンを捉えないことを示す。
  論文  参考訳（メタデータ） (2020-06-28T22:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。