論文の概要: DistractFlow: Improving Optical Flow Estimation via Realistic Distractions and Pseudo-Labeling

• arxiv url: http://arxiv.org/abs/2303.14078v1
• Date: Fri, 24 Mar 2023 15:42:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 14:02:22.349563
• Title: DistractFlow: Improving Optical Flow Estimation via Realistic Distractions and Pseudo-Labeling
• Title（参考訳）: DistractFlow: リアルディトラクションと擬似ラベルによる光学的フロー推定の改善
• Authors: Jisoo Jeong, Hong Cai, Risheek Garrepalli, Fatih Porikli
• Abstract要約: 本稿では,光フロー推定モデルのトレーニングのための新しいデータ拡張手法であるDistractFlowを提案する。 2つのフレームのうちの1つを、類似したドメインを描写したイントラクタイメージと組み合わせることで、自然の物体やシーンと相反する視覚的摂動を誘発することができる。 私たちのアプローチでは、追加のアノテーションを必要とせずに、利用可能なトレーニングペアの数を大幅に増やすことができます。
• 参考スコア（独自算出の注目度）: 49.46842536813477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel data augmentation approach, DistractFlow, for training optical flow estimation models by introducing realistic distractions to the input frames. Based on a mixing ratio, we combine one of the frames in the pair with a distractor image depicting a similar domain, which allows for inducing visual perturbations congruent with natural objects and scenes. We refer to such pairs as distracted pairs. Our intuition is that using semantically meaningful distractors enables the model to learn related variations and attain robustness against challenging deviations, compared to conventional augmentation schemes focusing only on low-level aspects and modifications. More specifically, in addition to the supervised loss computed between the estimated flow for the original pair and its ground-truth flow, we include a second supervised loss defined between the distracted pair's flow and the original pair's ground-truth flow, weighted with the same mixing ratio. Furthermore, when unlabeled data is available, we extend our augmentation approach to self-supervised settings through pseudo-labeling and cross-consistency regularization. Given an original pair and its distracted version, we enforce the estimated flow on the distracted pair to agree with the flow of the original pair. Our approach allows increasing the number of available training pairs significantly without requiring additional annotations. It is agnostic to the model architecture and can be applied to training any optical flow estimation models. Our extensive evaluations on multiple benchmarks, including Sintel, KITTI, and SlowFlow, show that DistractFlow improves existing models consistently, outperforming the latest state of the art.
• Abstract（参考訳）: 入力フレームに現実的な注意をそらすことにより,光フロー推定モデルのトレーニングを行うための新しいデータ拡張手法である distractflow を提案する。 混合比に基づいて, 対のフレームの1つを類似領域を描写した気晴らし画像と組み合わせることにより, 自然物やシーンと相反する視覚摂動を誘発する。 このようなペアを気晴らしペアと呼ぶ。 直感的には、意味的に意味のある注意をそらすことによって、モデルが関連するバリエーションを学習し、挑戦的な偏差に対して堅牢性を達成することができるということです。 具体的には, 初期対流と接地対流との間に計算された教師付き損失に加えて, 気をそらした対流と原対の接地対流との間に定義された第2の教師付き損失を同じ混合比で重み付けした。 さらに、ラベルなしデータが利用可能であれば、擬似ラベルと相互一貫性の正規化により、自己管理設定への拡張アプローチを拡張します。 元のペアとその気晴らしバージョンが与えられた場合、気晴らしペア上の推定フローを、元のペアの流れと一致させるために強制します。 当社のアプローチでは,追加のアノテーションを必要とせずに,利用可能なトレーニングペア数を大幅に増やすことが可能です。 モデルアーキテクチャに非依存であり、任意の光フロー推定モデルのトレーニングに適用することができる。 Sintel、KITTI、SlowFlowなど、複数のベンチマークに対する広範な評価は、DistractFlowが既存のモデルを一貫して改善し、最新技術よりも優れていることを示している。

関連論文リスト

• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation [42.48819460873482]
  拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。 また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
  論文  参考訳（メタデータ） (2023-06-02T21:26:20Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)
• What Matters in Unsupervised Optical Flow [51.45112526506455]
  教師なし光流における鍵成分の集合を比較し解析する。 教師なしフローモデルに対する新しい改良点を多数構築する。 本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
  論文  参考訳（メタデータ） (2020-06-08T19:36:26Z)
• Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
  有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。 我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。 我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
  論文  参考訳（メタデータ） (2020-02-06T22:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。