論文の概要: CLIP-FLow: Contrastive Learning by {s}emi-supervised Iterative Pseudo {l}abeling for Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2210.14383v1
• Date: Tue, 25 Oct 2022 23:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:49:45.683277
• Title: CLIP-FLow: Contrastive Learning by {s}emi-supervised Iterative Pseudo {l}abeling for Optical Flow Estimation
• Title（参考訳）: CLIP-FLow:光フロー推定のための<s}emi-supervised Iterative Pseudo {l}abelingによるコントラスト学習
• Authors: Zhiqi Zhang, Pan Ji, Nitin Bansal, Changjiang Cai, Qingan Yan, Xiangyu Xu, Yi Xu
• Abstract要約: 本稿では,事前学習の知識を対象の実領域に伝達するための,半教師付き反復的擬似ラベルフレームワークを提案する。 我々は、大規模でラベルのない実データを活用して、反復的に更新された擬似的真実ラベルを監督し、伝達学習を容易にする。 私たちのフレームワークはCRAFTなど他のモデルにも拡張可能で、KITTI 2015ベンチマークではF1全体のエラーを4.79%から4.66%に削減できる。
• 参考スコア（独自算出の注目度）: 31.773232370688657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic datasets are often used to pretrain end-to-end optical flow networks, due to the lack of a large amount of labeled, real-scene data. But major drops in accuracy occur when moving from synthetic to real scenes. How do we better transfer the knowledge learned from synthetic to real domains? To this end, we propose CLIP-FLow, a semi-supervised iterative pseudo-labeling framework to transfer the pretraining knowledge to the target real domain. We leverage large-scale, unlabeled real data to facilitate transfer learning with the supervision of iteratively updated pseudo-ground truth labels, bridging the domain gap between the synthetic and the real. In addition, we propose a contrastive flow loss on reference features and the warped features by pseudo ground truth flows, to further boost the accurate matching and dampen the mismatching due to motion, occlusion, or noisy pseudo labels. We adopt RAFT as the backbone and obtain an F1-all error of 4.11\%, i.e. a 19\% error reduction from RAFT (5.10\%) and ranking 2$^{nd}$ place at submission on KITTI 2015 benchmark. Our framework can also be extended to other models, e.g. CRAFT, reducing the F1-all error from 4.79\% to 4.66\% on KITTI 2015 benchmark.
• Abstract（参考訳）: 合成データセットは、大量のラベル付きリアルタイムデータがないため、エンドツーエンドの光フローネットワークの事前トレーニングにしばしば使用される。 しかし、合成シーンから実際のシーンに移行すると、大きな精度低下が発生する。 人工ドメインから実際のドメインへ学習した知識をどう転送するか? そこで本研究では,事前学習した知識を対象の実領域に転送する半教師付き反復的擬似ラベルフレームワークCLIP-FLowを提案する。 我々は,合成と実との領域間ギャップを橋渡しし,更新された疑似基底的真理ラベルを監督することにより,大規模でラベルのない実データを活用して転送学習を容易にする。 さらに, 疑似地中真実流による参照特徴と歪んだ特徴に対する対照的なフロー損失を提案し, さらに正確なマッチングを向上し, 動作, 閉塞, ノイズのある擬似ラベルによるミスマッチを抑える。 我々は、RAFTをバックボーンとして採用し、4.11 %のF1-allエラー、すなわち、RAFT (5.10 %) から19 %のエラーを削減し、KITTI 2015 ベンチマークで 2$^{nd}$ のランク付けを行う。 私たちのフレームワークは、例えば CRAFT など他のモデルにも拡張可能で、KITTI 2015 ベンチマークで F1-all エラーを 4.79-% から 4.66-% に削減できる。

関連論文リスト

• Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
  CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。 本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-25T04:00:45Z)
• AdaTriplet-RA: Domain Matching via Adaptive Triplet and Reinforced Attention for Unsupervised Domain Adaptation [15.905869933337101]
  教師なしドメイン適応(Unsupervised Domain Adaption、UDA)は、ソースドメインのデータとアノテーションが利用できるが、トレーニング中にラベル付けされていないターゲットデータにのみアクセスできるトランスファー学習タスクである。 本稿では、ドメイン間サンプルマッチング方式を用いて、教師なしドメイン適応タスクを改善することを提案する。 ドメイン間サンプルに合わせるために,広く利用され,堅牢なTriplet損失を適用した。 トレーニング中に発生する不正確な擬似ラベルの破滅的効果を低減するため,信頼度の高い擬似ラベルを自動的に選択し,段階的に改良する新しい不確実性測定法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T13:04:24Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)
• Cycle Label-Consistent Networks for Unsupervised Domain Adaptation [57.29464116557734]
  ドメイン適応は、ラベル付きソースドメインを活用して、異なる分布を持つラベル付きターゲットドメインの分類子を学ぶことを目的としています。 本稿では,分類ラベルのサイクル整合性を利用して,シンプルで効率的な領域適応手法,すなわちCycle Label-Consistent Network (CLCN)を提案する。 MNIST-USPS-SVHN, Office-31, Office-Home, Image CLEF-DAベンチマークに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2022-05-27T13:09:08Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds [43.792032657561236]
  我々はGTA-Vエンジンのためのポイントクラウドコレクタとシーンフローアノテータを開発し、人間の介入なしに多様なトレーニングサンプルを自動的に取得する。 対象ドメインの擬似ラベルを自己生成する平均教師型ドメイン適応フレームワークを提案する。 本フレームワークは、6つのソースターゲットデータセットペアに対して優れた適応性を実現し、平均的なドメインギャップを60%削減する。
  論文  参考訳（メタデータ） (2022-03-31T09:03:23Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• Optical Flow Dataset Synthesis from Unpaired Images [36.158607790844705]
  本稿では,光の流れを教師付きで訓練するために使用できる擬似実画像の訓練セットを構築する新しい手法を提案する。 我々のデータセットは実データから2つの未ペアフレームを使用し、ランダムなワープをシミュレートしてフレームのペアを生成する。 そこで我々は,真理を正確に把握しながら,実データを直接訓練する利点を得る。
  論文  参考訳（メタデータ） (2021-04-02T22:19:47Z)
• A Free Lunch for Unsupervised Domain Adaptive Object Detection without Source Data [69.091485888121]
  教師なしドメイン適応(unsupervised domain adaptation) ソースとターゲットのドメインデータは自由に利用でき、通常、ドメイン間のギャップを減らすために一緒に訓練される。 ノイズの多いラベルで学習する問題にモデル化することで,ソースデータのないドメイン適応オブジェクト検出(SFOD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-10T01:42:35Z)
• RAFT: Recurrent All-Pairs Field Transforms for Optical Flow [78.92562539905951]
  光フローのための新しいディープネットワークアーキテクチャであるRAFT(Recurrent All-Pairs Field Transforms)を導入する。 RAFTは画素あたりの特徴を抽出し、すべての画素に対してマルチスケールの4D相関ボリュームを構築し、フローフィールドを反復的に更新する。 RAFTは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-26T17:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。