論文の概要: Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Videos

• arxiv url: http://arxiv.org/abs/2411.08753v1
• Date: Wed, 13 Nov 2024 16:31:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:03.523982
• Title: Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Videos
• Title（参考訳）: どのビューポイントがベストか? 多視点ビデオのビュー選択を弱めに監視する言語
• Authors: Sagnik Majumder, Tushar Nagarajan, Ziad Al-Halah, Reina Pradhan, Kristen Grauman,
• Abstract要約: 鍵となる仮説は、個々のビューがより正確にビューに依存しないテキストの要約を予測できるほど、それがより情報的になるということである。 本稿では,ビュー依存キャプション予測の相対的精度を,擬似ラベルを最もよく見るためのプロキシとして利用するフレームワークを提案する。 推論の間、我々のモデルは多視点ビデオ(言語やカメラのポーズなし)のみを入力として取り、各タイミングで見るのに最適な視点を返します。
• 参考スコア（独自算出の注目度）: 66.1935609072708
• License:
• Abstract: Given a multi-view video, which viewpoint is most informative for a human observer? Existing methods rely on heuristics or expensive ``best-view" supervision to answer this question, limiting their applicability. We propose a weakly supervised approach that leverages language accompanying an instructional multi-view video as a means to recover its most informative viewpoint(s). Our key hypothesis is that the more accurately an individual view can predict a view-agnostic text summary, the more informative it is. To put this into action, we propose a framework that uses the relative accuracy of view-dependent caption predictions as a proxy for best view pseudo-labels. Then, those pseudo-labels are used to train a view selector, together with an auxiliary camera pose predictor that enhances view-sensitivity. During inference, our model takes as input only a multi-view video -- no language or camera poses -- and returns the best viewpoint to watch at each timestep. On two challenging datasets comprised of diverse multi-camera setups and how-to activities, our model consistently outperforms state-of-the-art baselines, both with quantitative metrics and human evaluation.
• Abstract（参考訳）: マルチビュービデオがあれば、人間の観察者にとって最も有意義な視点はどれだろうか? 既存の方法は、この質問に答えるためにヒューリスティックスや高価な『ベストビュー』の監督に依存し、適用性を制限する。 本稿では,教育用多視点ビデオに付随する言語を,最も情報に富む視点を回復する手段として活用する弱い教師付きアプローチを提案する。 私たちのキーとなる仮説は、個々のビューがより正確に、ビューに依存しないテキストの要約を予測できるほど、それがより情報的になるということです。 そこで本研究では,ビュー依存キャプション予測の相対的精度を,擬似ラベルを最良視するためのプロキシとして利用するフレームワークを提案する。 次に、これらの擬似ラベルを使用してビューセレクタをトレーニングし、ビュー感度を高める補助カメラポーズ予測器を併用する。 推論の間、我々のモデルは多視点ビデオ(言語やカメラのポーズなし)のみを入力として取り、各タイミングで見るのに最適な視点を返します。 多様なマルチカメラのセットアップとハウツーアクティビティで構成された2つの挑戦的データセットに対して、我々のモデルは、定量測定と人的評価の両方で、常に最先端のベースラインを上回ります。

関連論文リスト

• POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object Interaction in the Multi-View World [59.545114016224254]
  人間は、手と物体の相互作用の第三者による観察をエゴセントリックな視点に変換するのに長けている。 本稿では,自我中心の動画をほとんど持たない視点適応を実現するための,Prompt-Oriented View-Agnostic Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:54:44Z)
• Learning from Semantic Alignment between Unpaired Multiviews for Egocentric Video Recognition [23.031934558964473]
  本稿では,セマンティックスをベースとしたUnpaired Multiview Learning (SUM-L)を提案する。 主要なアイデアは、ビデオの意味情報を活用することで、クロスビューの擬似ペアを構築し、ビュー不変アライメントを行うことである。 また,本手法は,より難易度の高いシナリオ下で,既存のビューアライメント手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-22T15:10:42Z)
• Let's Think Frame by Frame with VIP: A Video Infilling and Prediction Dataset for Evaluating Video Chain-of-Thought [62.619076257298204]
  我々は、少数のビデオ推論のシーケンシャルな理解として、フレーミングビデオ推論を動機付けている。 VIPは、ビデオチェーンオブ思考を通してモデルの推論能力を調べるために設計された、推論時の課題データセットである。 我々は、VIP上でGPT-4、GPT-3、VICUNAをベンチマークし、複雑なビデオ推論タスクのパフォーマンスギャップを実証し、今後の作業を促進する。
  論文  参考訳（メタデータ） (2023-05-23T10:26:42Z)
• Learning to Select Camera Views: Efficient Multiview Understanding at Few Glances [59.34619548026885]
  本稿では,対象物やシナリオを所定のビューから分析し,処理に最適なビューを選択するビュー選択手法を提案する。 提案手法は,MVSelectという強化学習に基づくカメラ選択モジュールを備えており,ビューの選択だけでなく,タスクネットワークとの協調トレーニングも容易である。
  論文  参考訳（メタデータ） (2023-03-10T18:59:10Z)
• Multi-View Masked World Models for Visual Robotic Manipulation [132.97980128530017]
  ランダムにマスキングされた視点の画素を再構成するマルチビューマスキングオートエンコーダを訓練する。 提案手法の有効性を様々なシナリオで示す。 また、複数のランダム化視点で訓練された多視点マスク付きオートエンコーダは、強い視点ランダム化を持つポリシーを訓練することができることを示した。
  論文  参考訳（メタデータ） (2023-02-05T15:37:02Z)
• Multiview Pseudo-Labeling for Semi-supervised Learning from Video [102.36355560553402]
  本稿では,映像における半教師付き学習において,外観と動作情報という形で相補的視点を用いた新しい枠組みを提案する。 提案手法は複数のビューを対象とするが,それでも外観と動作の入力間で共有されるモデルを訓練する。 複数のビデオ認識データセットにおいて,本手法は教師あり映像表現学習における従来の標準ベンチマークと比較し,教師あり映像表現学習における従来の手法と比較した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:48Z)
• Generalized Multi-view Shared Subspace Learning using View Bootstrapping [43.027427742165095]
  マルチビュー学習の主な目的は、下流学習タスクを改善するために、オブジェクト/イベントのクラスの複数の並列ビューに共通する情報をモデル化することである。 本稿では,多視点相関に基づくニューラルな手法を提案する。 音声認識、3次元オブジェクト分類、ポーズ不変顔認識の実験は、多数のビューをモデル化するためのビューブートストラップの堅牢性を示している。
  論文  参考訳（メタデータ） (2020-05-12T20:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。