論文の概要: Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising?

• arxiv url: http://arxiv.org/abs/2204.11493v1
• Date: Mon, 25 Apr 2022 08:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 15:41:25.469354
• Title: Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising?
• Title（参考訳）: 自己超越対合成データセット:ビデオデノゲーションの文脈において、どちらがより悪いか?
• Authors: Val\'ery Dewil, Aranud Barral, Gabriele Facciolo, Pablo Arias
• Abstract要約: 監督されたトレーニングは、画像やビデオのデノベーションの最先端の結果につながった。 入手が難しいノイズとクリーンのペアの大規模なデータセットが必要です。 いくつかの自己教師型フレームワークは、ノイズの多いデータに基づいて、そのようなデノベーションネットワークを直接訓練するために提案されている。
• 参考スコア（独自算出の注目度）: 11.0189148044343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised training has led to state-of-the-art results in image and video denoising. However, its application to real data is limited since it requires large datasets of noisy-clean pairs that are difficult to obtain. For this reason, networks are often trained on realistic synthetic data. More recently, some self-supervised frameworks have been proposed for training such denoising networks directly on the noisy data without requiring ground truth. On synthetic denoising problems supervised training outperforms self-supervised approaches, however in recent years the gap has become narrower, especially for video. In this paper, we propose a study aiming to determine which is the best approach to train denoising networks for real raw videos: supervision on synthetic realistic data or self-supervision on real data. A complete study with quantitative results in case of natural videos with real motion is impossible since no dataset with clean-noisy pairs exists. We address this issue by considering three independent experiments in which we compare the two frameworks. We found that self-supervision on the real data outperforms supervision on synthetic data, and that in normal illumination conditions the drop in performance is due to the synthetic ground truth generation, not the noise model.
• Abstract（参考訳）: 監督されたトレーニングは、画像とビデオの認知の最先端の結果につながった。 しかし、その実データへの応用は、取得が難しいノイズとクリーンなペアの大規模なデータセットを必要とするため、限られている。 このため、ネットワークはしばしばリアルな合成データに基づいて訓練される。 最近では、基礎的な真理を必要とせず、ノイズの多いデータに直接ネットワークをデノナイズする自己教師型フレームワークが提案されている。 教師付き学習における合成認知問題は、自己監督的アプローチよりも優れているが、近年では、特にビデオにおいてギャップが狭まっている。 本稿では,実生映像のデノイジングネットワークを訓練する最善の方法を決定するために,合成現実データに対する監督,実データに対する自己スーパービジョンを提案する。 クリーンなノイズペアを持つデータセットが存在しないため、実際の動画の場合の定量的な結果による完全な研究は不可能である。 2つのフレームワークを比較した3つの独立した実験を考慮することでこの問題に対処する。 実データに対する自己監督は, 合成データの監督よりも優れており, 通常の照明条件では, ノイズモデルではなく, 合成地上真実の生成による性能低下が原因であることがわかった。

関連論文リスト

• Video DataFlywheel: Resolving the Impossible Data Trinity in Video-Language Understanding [61.89781979702939]
  本研究では,事前学習データセットにおけるデータ量,多様性,品質の「不可能トリニティ」を定量的に明らかにする。 近年の取り組みは、合成アノテーションによって低品質で妥協された大規模で多様なASRデータセットを改良することを目指している。 我々は,ビデオアノテーションを改良されたノイズコントロール手法で反復的に洗練するVideo DataFlywheelフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-09-29T03:33:35Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Double Descent and Overfitting under Noisy Inputs and Distribution Shift for Linear Denoisers [3.481985817302898]
  教師付き denoising を研究する上での懸念は,テスト分布からのノイズレストレーニングデータが常に存在するとは限らないことだ。 そこで本研究では,分散シフト下での教師付きノイズ除去とノイズインプット回帰について検討した。
  論文  参考訳（メタデータ） (2023-05-26T22:41:40Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Confidence-based Reliable Learning under Dual Noises [46.45663546457154]
  ディープニューラルネットワーク(DNN)は、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。 しかし、オープンワールドから収集されたデータはノイズによって必然的に汚染され、学習されたモデルの有効性を著しく損なう可能性がある。 データノイズ下でDNNを確実に訓練する様々な試みがなされているが、ラベルに存在するノイズと画像に存在するノイズを別々に考慮している。 この作業は、ジョイント(イメージ、ラベル)ノイズの下での信頼性学習のための、最初の統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-10T07:50:34Z)
• IDR: Self-Supervised Image Denoising via Iterative Data Refinement [66.5510583957863]
  本稿では,最先端のデノナイジング性能を実現するために,教師なしの実用的なデノナイジング手法を提案する。 本手法では, 1つのノイズ画像と1つのノイズモデルしか必要とせず, 実際の生画像に容易にアクセス可能である。 実世界のアプリケーションにおける生画像復調性能を評価するため,500シーンのシーンを含む高品質な生画像データセットSenseNoise-500を構築した。
  論文  参考訳（メタデータ） (2021-11-29T07:22:53Z)
• Semi-synthesis: A fast way to produce effective datasets for stereo matching [16.602343511350252]
  現実に近いテクスチャレンダリングは、ステレオマッチングのパフォーマンスを高める重要な要素です。 実物に近いテクスチャーで大量のデータを合成する効果的かつ高速な方法である半合成法を提案します。 実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。
  論文  参考訳（メタデータ） (2021-01-26T14:34:49Z)
• Joint Demosaicking and Denoising in the Wild: The Case of Training Under Ground Truth Uncertainty [2.0088802641040604]
  本研究は,野生における共同デモサイクリングのための新しい学習フレームワークwild-jddを提案する。 トレーニングデータの基底的真理が現実の完全な反映であると一般的に仮定する先行研究とは対照的に、ここでは野生における基底的真理の不確かさのより一般的な不完全なケースを考察する。
  論文  参考訳（メタデータ） (2021-01-12T12:33:41Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。