論文の概要: Self-Supervised Partial Cycle-Consistency for Multi-View Matching

• arxiv url: http://arxiv.org/abs/2501.06000v1
• Date: Fri, 10 Jan 2025 14:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:21.444887
• Title: Self-Supervised Partial Cycle-Consistency for Multi-View Matching
• Title（参考訳）: 多視点マッチングのための自己改善部分サイクル一貫性
• Authors: Fedor Taggenbrock, Gertjan Burghouts, Ronald Poppe,
• Abstract要約: 我々は、部分的な重複を処理するために、サイクル一貫性を持つビュー不変の特徴抽出ネットワークを訓練する。 本稿では,複数のサイクルを補完し,時間分割シーンサンプリング方式を提案する。 自己監督状態と比較すると, コントリビューションによるF1スコアは4.3%上昇した。
• 参考スコア（独自算出の注目度）: 5.984724082624813
• License:
• Abstract: Matching objects across partially overlapping camera views is crucial in multi-camera systems and requires a view-invariant feature extraction network. Training such a network with cycle-consistency circumvents the need for labor-intensive labeling. In this paper, we extend the mathematical formulation of cycle-consistency to handle partial overlap. We then introduce a pseudo-mask which directs the training loss to take partial overlap into account. We additionally present several new cycle variants that complement each other and present a time-divergent scene sampling scheme that improves the data input for this self-supervised setting. Cross-camera matching experiments on the challenging DIVOTrack dataset show the merits of our approach. Compared to the self-supervised state-of-the-art, we achieve a 4.3 percentage point higher F1 score with our combined contributions. Our improvements are robust to reduced overlap in the training data, with substantial improvements in challenging scenes that need to make few matches between many people. Self-supervised feature networks trained with our method are effective at matching objects in a range of multi-camera settings, providing opportunities for complex tasks like large-scale multi-camera scene understanding.
• Abstract（参考訳）: カメラビューの重なり合うオブジェクトのマッチングは、マルチカメラシステムにおいて重要であり、ビュー不変の特徴抽出ネットワークを必要とする。 このようなサイクル一貫性のあるネットワークをトレーニングすることで、労働集約的なラベリングの必要性を回避することができる。 本稿では,周期整合性の数学的定式化を拡張し,部分重なりを扱う。 次に擬似マスクを導入し、トレーニング損失を部分的に重複させるように指示する。 さらに,この自己教師型設定のためのデータ入力を改善するための時間分割シーンサンプリングスキームを提案する。 DIVOTrackデータセットのクロスカメラマッチング実験は、我々のアプローチのメリットを示している。 自己監督状態と比較すると, コントリビューションによるF1スコアは4.3%上昇した。 私たちの改善はトレーニングデータの重複を軽減するために堅牢です。 本手法で訓練した自己教師機能ネットワークは,複数カメラ設定のオブジェクトのマッチングに有効であり,大規模マルチカメラシーン理解のような複雑なタスクの機会を提供する。

関連論文リスト

• One Diffusion to Generate Them All [54.82732533013014]
  OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。 テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。 OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-11-25T12:11:05Z)
• DVPE: Divided View Position Embedding for Multi-View 3D Object Detection [7.791229698270439]
  現在の研究は、受容場間のバランスと、多視点の特徴を集約する際の干渉を減らすことの課題に直面している。 本稿では,視覚的クロスアテンション機構を通じて特徴を世界規模でモデル化する分割ビュー手法を提案する。 我々のフレームワークはDVPEと呼ばれ、nuScenesテストセット上で最先端のパフォーマンス(57.2% mAPと64.5% NDS)を達成する。
  論文  参考訳（メタデータ） (2024-07-24T02:44:41Z)
• Reconstructing Close Human Interactions from Multiple Views [38.924950289788804]
  本稿では,複数のキャリブレーションカメラで捉えた密接なインタラクションを行う複数の個人のポーズを再構築する上での課題について述べる。 これらの課題に対処する新しいシステムを導入する。 本システムは,学習に基づくポーズ推定コンポーネントと,それに対応するトレーニングと推論戦略を統合する。
  論文  参考訳（メタデータ） (2024-01-29T14:08:02Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Cross-View Cross-Scene Multi-View Crowd Counting [56.83882084112913]
  従来,複数カメラを用いて1台のカメラの視野を拡大する手法が提案されてきた。 任意のカメラレイアウトで異なるシーンでトレーニングやテストを行う,クロスビュー・クロスシーン(CVCS)のマルチビュー・クラウドカウント・パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-05-03T15:03:44Z)
• A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection [59.21990697929617]
  人間は、ダイナミックな世界に住んでいるので、画像のグループやビデオのフレームから学ぶことによってオブジェクトをマイニングする傾向があります。 従来のアプローチでは、類似したタスクで異なるネットワークを個別に設計するが、互いに適用するのは困難である。 UFO(UnifiedObject Framework for Co-Object Framework)という,これらの問題に対処するための統一フレームワークを導入する。
  論文  参考訳（メタデータ） (2022-03-09T13:35:19Z)
• Learning to Track Instances without Video Annotations [85.9865889886669]
  本稿では,ラベル付き画像データセットとラベルなしビデオシーケンスのみを用いたインスタンス追跡ネットワークを学習する,新しい半教師付きフレームワークを提案する。 画像のみを訓練しても,学習した特徴表現は出現の変動にロバストであることが判明した。 さらに、このモジュールを単一ステージのインスタンスセグメンテーションとポーズ推定フレームワークに統合します。
  論文  参考訳（メタデータ） (2021-04-01T06:47:41Z)
• Self-supervised Human Detection and Segmentation via Multi-view Consensus [116.92405645348185]
  本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。 本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
  論文  参考訳（メタデータ） (2020-12-09T15:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。