論文の概要: Aligning Motion-Blurred Images Using Contrastive Learning on Overcomplete Pixels
- arxiv url: http://arxiv.org/abs/2410.07410v2
- Date: Fri, 1 Nov 2024 16:34:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 21:09:23.626406
- Title: Aligning Motion-Blurred Images Using Contrastive Learning on Overcomplete Pixels
- Title（参考訳）: オーバーコンプリート画素を用いたコントラスト学習による動きブラインド画像の配向
- Authors: Leonid Pogorelyuk, Stefan T. Radev,
- Abstract要約: 動きのぼかしに不変なオーバーコンプリート画素レベルの特徴を学習するための新しいコントラスト的目的を提案する。
我々の目的を訓練した単純なU-Netは、現実的で困難な条件下で撮影される見えないビデオのフレームを移動カメラに合わせるのに有用なローカル機能を生み出すことができることを実証する。
- 参考スコア（独自算出の注目度）: 1.8810643529425775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new contrastive objective for learning overcomplete pixel-level features that are invariant to motion blur. Other invariances (e.g., pose, illumination, or weather) can be learned by applying the corresponding transformations on unlabeled images during self-supervised training. We showcase that a simple U-Net trained with our objective can produce local features useful for aligning the frames of an unseen video captured with a moving camera under realistic and challenging conditions. Using a carefully designed toy example, we also show that the overcomplete pixels can encode the identity of objects in an image and the pixel coordinates relative to these objects.
- Abstract（参考訳）: 動きのぼかしに不変なオーバーコンプリート画素レベルの特徴を学習するための新しいコントラスト的目的を提案する。
他の不変性(例えば、ポーズ、照明、天候)は、自己監督訓練中にラベルのない画像に対応する変換を適用することで学習することができる。
我々の目的を訓練した単純なU-Netは、現実的で困難な条件下で撮影される見えないビデオのフレームを移動カメラに合わせるのに有用なローカル機能を生み出すことができることを実証する。
また、慎重にデザインされた玩具の例を用いて、画像中のオブジェクトの同一性やそれらのオブジェクトに対する画素座標を符号化できることも示す。
関連論文リスト
- Rethinking Image-to-Video Adaptation: An Object-centric Perspective [61.833533295978484]
本稿では,オブジェクト中心の視点から,画像から映像への適応戦略を提案する。
人間の知覚に触発されて、物体発見のプロキシタスクを画像-映像間移動学習に統合する。
論文 参考訳（メタデータ） (2024-07-09T13:58:10Z) - Learning Fine-Grained Features for Pixel-wise Video Correspondences [13.456993858078514]
画素ワイド対応を確立するための学習機能の問題に対処する。
光フローと自己教師付き特徴学習によってモチベーションを得るとともに、ラベル付き合成ビデオだけでなく、ラベル付き実世界のビデオも活用することを提案する。
一連の対応型タスクに対する実験結果から,提案手法は最先端のライバルよりも精度と効率が優れていることが示された。
論文 参考訳（メタデータ） (2023-08-06T07:27:17Z) - Pixel-level Correspondence for Self-Supervised Learning from Video [56.24439897867531]
ピクセルレベルの対応 (PiCo) はビデオから高密度なコントラスト学習を行う方法である。
標準的なベンチマークでPiCoを検証し、複数の高密度予測タスクで自己教師付きベースラインを上回ります。
論文 参考訳（メタデータ） (2022-07-08T12:50:13Z) - Real-Time Neural Character Rendering with Pose-Guided Multiplane Images [75.62730144924566]
リアルなシーンでアニマタブルなキャラクタをフォトリアリスティックな画質でレンダリングできるポーズ誘導多面体画像(MPI)合成を提案する。
我々は、移動物体の駆動信号とともに多視点画像をキャプチャするために、ポータブルカメラリグを使用します。
論文 参考訳（メタデータ） (2022-04-25T17:51:38Z) - Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。
高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
論文 参考訳（メタデータ） (2021-01-16T23:44:09Z) - Learning RGB-D Feature Embeddings for Unseen Object Instance
Segmentation [67.88276573341734]
合成データからRGB-D特徴埋め込みを学習し,オブジェクトのインスタンスセグメンテーションを未確認する手法を提案する。
距離学習損失関数を用いて画素単位の機能埋め込みを学習する。
新たな2段階クラスタリングアルゴリズムにより,セグメンテーションの精度をさらに向上する。
論文 参考訳（メタデータ） (2020-07-30T00:23:07Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳（メタデータ） (2020-02-10T20:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。