論文の概要: InterNet: Unsupervised Cross-modal Homography Estimation Based on Interleaved Modality Transfer and Self-supervised Homography Prediction
- arxiv url: http://arxiv.org/abs/2409.17993v1
- Date: Thu, 26 Sep 2024 16:04:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 16:26:02.150007
- Title: InterNet: Unsupervised Cross-modal Homography Estimation Based on Interleaved Modality Transfer and Self-supervised Homography Prediction
- Title（参考訳）: InterNet: インターリーブモダリティ伝達と自己教師型ホモグラフィー予測に基づく教師なしクロスモーダルホログラフィー推定
- Authors: Junchen Yu, Si-Yuan Cao, Runmin Zhang, Chenghao Zhang, Jianxin Hu, Zhu Yu, Hui-liang Shen,
- Abstract要約: InterNetはモダリティ転送と自己教師付きホモグラフィー推定を統合している。
InterNetは、教師なしメソッド間のSOTA(State-of-the-art)のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 9.71493003138021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel unsupervised cross-modal homography estimation framework, based on interleaved modality transfer and self-supervised homography prediction, named InterNet. InterNet integrates modality transfer and self-supervised homography estimation, introducing an innovative interleaved optimization framework to alternately promote both components. The modality transfer gradually narrows the modality gaps, facilitating the self-supervised homography estimation to fully leverage the synthetic intra-modal data. The self-supervised homography estimation progressively achieves reliable predictions, thereby providing robust cross-modal supervision for the modality transfer. To further boost the estimation accuracy, we also formulate a fine-grained homography feature loss to improve the connection between two components. Furthermore, we employ a simple yet effective distillation training technique to reduce model parameters and improve cross-domain generalization ability while maintaining comparable performance. Experiments reveal that InterNet achieves the state-of-the-art (SOTA) performance among unsupervised methods, and even outperforms many supervised methods such as MHN and LocalTrans.
- Abstract（参考訳）: 我々は、インターネットワークと呼ばれるインターリーブモダリティ伝達と自己教師型ホモグラフィ予測に基づく、新しい教師なしクロスモーダルホモグラフィー推定フレームワークを提案する。
InterNetは、モダリティ転送と自己教師付きホモグラフィー推定を統合し、両方のコンポーネントを交互にプロモートするための革新的なインターリーブド最適化フレームワークを導入している。
モダリティ転送は、徐々にモダリティギャップを狭め、自己教師付きホモグラフィー推定を容易にし、合成モダリティ内データを完全に活用する。
自己教師付きホモグラフィー推定は、信頼性の高い予測を徐々に達成し、モダリティ伝達に対する堅牢な相互監督を提供する。
推定精度をさらに高めるため、細粒度のホモグラフィー特徴損失を定式化し、2つのコンポーネント間の接続を改善する。
さらに, モデルパラメータの削減とドメイン間一般化能力の向上を両立させるため, 比較性能を維持しつつ, 簡易かつ効果的な蒸留訓練手法を用いる。
実験の結果、InterNetは教師なしメソッドのSOTA(State-of-the-art)のパフォーマンスを実現し、MHNやLocalTransといった教師なしメソッドよりも優れています。
関連論文リスト
- An Intra- and Cross-frame Topological Consistency Scheme for Semi-supervised Atherosclerotic Coronary Plaque Segmentation [9.902034502749501]
冠状動脈硬化解析 (CAA) は, 湾曲平面再構成法を用いて再建した血管断面画像の解析に頼っている。
この課題は、プラークと血管の境界や構造がはっきりしないため、重大な課題を提起する。
フレーム内トポロジ的整合性(ITC)とクロスフレームトポロジ的整合性(CTC)を統合した,新しい二重整合性半教師型フレームワークを提案する。
提案手法は,既存の半教師付き手法を超越し,CAAにおける教師付き手法の性能にアプローチする。
論文 参考訳（メタデータ） (2025-01-14T05:23:42Z) - Efficient Text-driven Motion Generation via Latent Consistency Training [21.348658259929053]
非線形逆拡散軌道を解くための動き潜時整合トレーニングフレームワーク(MLCT)を提案する。
これらの拡張を組み合わせることで、非画素モダリティおよび潜在表現空間における安定かつ一貫性のあるトレーニングを実現する。
論文 参考訳（メタデータ） (2024-05-05T02:11:57Z) - Motion-Scenario Decoupling for Rat-Aware Video Position Prediction:
Strategy and Benchmark [49.58762201363483]
本研究では,個人や環境の影響要因を考慮し,生物ロボットの動き予測データセットであるRatPoseを紹介する。
本稿では,シナリオ指向とモーション指向を効果的に分離するDual-stream Motion-Scenario Decouplingフレームワークを提案する。
難易度が異なるタスクに対して,提案したtextitDMSD フレームワークの大幅な性能向上を示す。
論文 参考訳（メタデータ） (2023-05-17T14:14:31Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Learning Relation Alignment for Calibrated Cross-modal Retrieval [52.760541762871505]
言語的・視覚的関係のセマンティックな距離を計測し,関係の一貫性を定量化するための新しい指標ISD(Intra-modal Self-attention Distance)を提案する。
ISDを最適化し、モダル間アライメントを介してモダル内アライメントを相互に調整するための正規化訓練法である、モダル内アライメント(IAIS)について述べる。
論文 参考訳（メタデータ） (2021-05-28T14:25:49Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳（メタデータ） (2021-05-05T17:49:55Z) - Self-supervised Multi-view Stereo via Effective Co-Segmentation and
Data-Augmentation [39.95831985522991]
セマンティック・コセグメンテーションとデータ強化によってガイドされるより信頼性の高い監視と統合されたフレームワークを提案する。
提案手法は教師なし手法の最先端性能を実現し,教師付き手法と同等に競合する。
論文 参考訳（メタデータ） (2021-04-12T11:48:54Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳（メタデータ） (2021-03-06T09:10:03Z) - Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with
Reliable Transfer for Cardiac Segmentation [69.09432302497116]
最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。
ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。
このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2021-01-07T05:17:38Z) - Intervention Generative Adversarial Networks [21.682592654097352]
本稿では,ジェネレーティブ・アドバイサル・ネットワークの学習過程を安定化するための新しいアプローチを提案する。
得られた生成モデルを、IVGAN(Intervention Generative Adversarial Networks)と呼ぶ。
論文 参考訳（メタデータ） (2020-08-09T11:51:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。