論文の概要: Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling

• arxiv url: http://arxiv.org/abs/2207.00474v1
• Date: Fri, 1 Jul 2022 14:53:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 12:21:56.832306
• Title: Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling
• Title（参考訳）: 特徴デカップリングを用いた弱教師付き高忠実超音波ビデオ合成
• Authors: Jiamin Liang, Xin Yang, Yuhao Huang, Kai Liu, Xinrui Zhou, Xindi Hu, Zehui Lin, Huanjia Luo, Yuanji Zhang, Yi Xiong, Dong Ni
• Abstract要約: 臨床実践において、分析と診断は、動的解剖情報を得るために単一の画像ではなくアメリカのシーケンスに依存することが多い。 患者からの適切なビデオで練習することは、臨床的には実践的ではないため、初心者には学ぶことが難しい。 我々は,高忠実度US動画を合成するための新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 13.161739586288704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ultrasound (US) is widely used for its advantages of real-time imaging, radiation-free and portability. In clinical practice, analysis and diagnosis often rely on US sequences rather than a single image to obtain dynamic anatomical information. This is challenging for novices to learn because practicing with adequate videos from patients is clinically unpractical. In this paper, we propose a novel framework to synthesize high-fidelity US videos. Specifically, the synthesis videos are generated by animating source content images based on the motion of given driving videos. Our highlights are three-fold. First, leveraging the advantages of self- and fully-supervised learning, our proposed system is trained in weakly-supervised manner for keypoint detection. These keypoints then provide vital information for handling complex high dynamic motions in US videos. Second, we decouple content and texture learning using the dual decoders to effectively reduce the model learning difficulty. Last, we adopt the adversarial training strategy with GAN losses for further improving the sharpness of the generated videos, narrowing the gap between real and synthesis videos. We validate our method on a large in-house pelvic dataset with high dynamic motion. Extensive evaluation metrics and user study prove the effectiveness of our proposed method.
• Abstract（参考訳）: 超音波(US)はリアルタイムイメージング、放射線フリー、ポータビリティの利点のために広く利用されている。 臨床実践において、分析と診断は、動的解剖情報を得るために単一の画像ではなくアメリカのシーケンスに依存することが多い。 これは初心者にとって、患者からの適切なビデオの練習は臨床的に実践的ではないため、学ぶことが難しい。 本稿では,アメリカの高忠実度映像を合成する新しい枠組みを提案する。 具体的には、所定の駆動ビデオの動きに基づいて、ソースコンテンツイメージをアニメーションすることで合成ビデオを生成する。 私たちのハイライトは3倍です。 まず,自己学習と完全教師付き学習の利点を活用し,キーポイント検出のための弱教師付き学習システムを提案する。 これらのキーポイントは、アメリカのビデオで複雑な高ダイナミックな動きを扱うための重要な情報を提供する。 次に,2つのデコーダを用いてコンテンツとテクスチャ学習を分離し,モデル学習の難しさを効果的に軽減する。 最後に,gan損失を伴う敵対的学習戦略を採用し,生成映像のシャープ性をさらに向上させ,実映像と合成映像のギャップを狭める。 本研究では,本手法を動的動作を伴う大規模骨盤内データセット上で検証する。 提案手法の有効性を総合評価指標とユーザスタディで検証した。

関連論文リスト

• Data Collection-free Masked Video Modeling [6.641717260925999]
  静的な画像を活用してコストを低減したビデオのための効果的な自己教師型学習フレームワークを提案する。 これらの擬似モーションビデオは、マスク付きビデオモデリングに活用される。 提案手法は合成画像にも適用可能であり,ビデオ学習をデータ収集から完全に解放することは,実際のデータに対する他の懸念も伴う。
  論文  参考訳（メタデータ） (2024-09-10T17:34:07Z)
• OnUVS: Online Feature Decoupling Framework for High-Fidelity Ultrasound Video Synthesis [34.07625938756013]
  ソノグラフィーは、包括的な情報を集めるために対応する動的解剖構造を観察しなければならない。 アメリカのビデオの合成は、この問題に対する有望な解決策になるかもしれない。 我々は,高忠実度USビデオ合成のためのオンライン機能分離フレームワークOnUVSを提案する。
  論文  参考訳（メタデータ） (2023-08-16T10:16:50Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• InternVideo: General Video Foundation Models via Generative and Discriminative Learning [52.69422763715118]
  動的および複雑なビデオレベルの理解タスクのための一般的なビデオ基盤モデルであるInternVideoを提案する。 InternVideoは、事前学習対象として、マスク付きビデオモデリングとビデオ言語コントラスト学習を効率的に探索する。 InternVideoは、ビデオアクション認識/検出、ビデオ言語アライメント、オープンワールドビデオアプリケーションなど、39のビデオデータセットの最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-06T18:09:49Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning [100.76672109782815]
  本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。 動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。 再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T16:42:50Z)
• Self-supervised Contrastive Video-Speech Representation Learning for Ultrasound [15.517484333872277]
  医用画像では、手動のアノテーションは入手するのに高価であり、アクセスできないこともある。 本稿では,マルチモーダル超音波ビデオ音声生データを用いた自己教師型表現学習の課題に対処する。
  論文  参考訳（メタデータ） (2020-08-14T23:58:23Z)
• Self-supervised Video Representation Learning by Pace Prediction [48.029602040786685]
  本稿では,ビデオペース予測による自己指導型映像表現学習の課題に対処する。 人間の視覚系がビデオのペースに敏感であるという観察に由来する。 我々は、異なるペースでトレーニングクリップをランダムにサンプリングし、ニューラルネットワークに各ビデオクリップのペースを特定するよう依頼する。
  論文  参考訳（メタデータ） (2020-08-13T12:40:24Z)
• Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
  我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。 本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。 提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2020-03-21T02:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。