論文の概要: Neural Cell Video Synthesis via Optical-Flow Diffusion
- arxiv url: http://arxiv.org/abs/2212.03250v1
- Date: Tue, 6 Dec 2022 21:40:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 16:06:59.020926
- Title: Neural Cell Video Synthesis via Optical-Flow Diffusion
- Title（参考訳）: 光フロー拡散によるニューラルセルビデオ合成
- Authors: Manuel Serna-Aguilera, Khoa Luu, Nathaniel Harris, Min Zou
- Abstract要約: トレーニングデータセットからビデオ拡散モデルを用いて細胞の映像を合成する。
モデルが持つ強みと一貫した欠点を分析し、ビデオ生成の改善を可能な限り高品質に導く。
- 参考スコア（独自算出の注目度）: 7.628962651478939
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The biomedical imaging world is notorious for working with small amounts of
data, frustrating state-of-the-art efforts in the computer vision and deep
learning worlds. With large datasets, it is easier to make progress we have
seen from the natural image distribution. It is the same with microscopy videos
of neuron cells moving in a culture. This problem presents several challenges
as it can be difficult to grow and maintain the culture for days, and it is
expensive to acquire the materials and equipment. In this work, we explore how
to alleviate this data scarcity problem by synthesizing the videos. We,
therefore, take the recent work of the video diffusion model to synthesize
videos of cells from our training dataset. We then analyze the model's
strengths and consistent shortcomings to guide us on improving video generation
to be as high-quality as possible. To improve on such a task, we propose
modifying the denoising function and adding motion information (dense optical
flow) so that the model has more context regarding how video frames transition
over time and how each pixel changes over time.
- Abstract（参考訳）: バイオメディカルイメージングの世界は、少量のデータを扱うことで悪名高く、コンピュータビジョンとディープラーニングの世界における最先端の取り組みに不満を呈している。
大規模なデータセットでは、自然画像分布から見るのがより簡単になります。
これは、培養中の神経細胞の顕微鏡映像と同じである。
この問題は、何日も文化の育成・維持が困難であり、材料や機器の入手が困難であることから、いくつかの課題を提起している。
本研究では,映像の合成によるデータ不足問題を解決する方法について検討する。
そこで本研究では,映像拡散モデルの最近の成果を活かし,トレーニングデータセットからセルの映像を合成する。
次に,モデルが持つ強みと一貫した欠点を分析し,可能な限り高品質な映像生成を指導する。
そこで本研究では,映像フレームの経時変化や各画素の経時変化の文脈がより深くなるように,デノライゼーション機能の改良と動き情報の追加(dense optical flow)を提案する。
関連論文リスト
- Data Collection-free Masked Video Modeling [6.641717260925999]
静的な画像を活用してコストを低減したビデオのための効果的な自己教師型学習フレームワークを提案する。
これらの擬似モーションビデオは、マスク付きビデオモデリングに活用される。
提案手法は合成画像にも適用可能であり,ビデオ学習をデータ収集から完全に解放することは,実際のデータに対する他の懸念も伴う。
論文 参考訳（メタデータ） (2024-09-10T17:34:07Z) - Fine-gained Zero-shot Video Sampling [21.42513407755273]
我々は,$mathcalZS2$と表記されるZero-Shotビデオサンプリングアルゴリズムを提案する。
$mathcalZS2$は、トレーニングや最適化なしに高品質のビデオクリップを直接サンプリングすることができる。
ゼロショットビデオ生成における最先端のパフォーマンスを達成し、時々最新の教師付き手法よりも優れる。
論文 参考訳（メタデータ） (2024-07-31T09:36:58Z) - Snap Video: Scaled Spatiotemporal Transformers for Text-to-Video
Synthesis [69.83405335645305]
映像生成領域に画像モデルの進化をもたらすことによって、動きの忠実度、視覚的品質、スケーラビリティを損なうことが議論されている。
この作業では、これらの課題に体系的に対処するビデオファーストモデルであるSnap Videoを構築します。
画像生成の背後にあるワークホースであるU-Netは、ビデオ生成時に低スケールであり、計算オーバーヘッドがかなり必要であることを示す。
これにより、初めて数十億のパラメータを持つテキスト・ビデオモデルを効率的にトレーニングし、多数のベンチマークで最先端の結果に到達し、はるかに高い品質、時間的一貫性、動きの複雑さの動画を生成することができる。
論文 参考訳（メタデータ） (2024-02-22T18:55:08Z) - Lumiere: A Space-Time Diffusion Model for Video Generation [75.54967294846686]
本研究では,一度にビデオ全体の時間的持続時間を生成する空間時間U-Netアーキテクチャを提案する。
これは、遠方から後続の時間超解像を合成する既存のビデオモデルとは対照的である。
空間的および(重要な)時間的ダウンサンプリングとアップサンプリングの両方をデプロイすることで、我々のモデルは、フルフレームレートで低解像度のビデオを直接生成することを学ぶ。
論文 参考訳（メタデータ） (2024-01-23T18:05:25Z) - Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature
Decoupling [13.161739586288704]
臨床実践において、分析と診断は、動的解剖情報を得るために単一の画像ではなくアメリカのシーケンスに依存することが多い。
患者からの適切なビデオで練習することは、臨床的には実践的ではないため、初心者には学ぶことが難しい。
我々は,高忠実度US動画を合成するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-07-01T14:53:22Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - Video Generation from Text Employing Latent Path Construction for
Temporal Modeling [70.06508219998778]
ビデオ生成は、機械学習とコンピュータビジョンの分野における最も困難なタスクの1つである。
本稿では,映像生成の条件形式であるテキストから映像生成の問題に取り組む。
自然言語文からのビデオ生成が人工知能に重要な影響を与えると考えている。
論文 参考訳（メタデータ） (2021-07-29T06:28:20Z) - High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
論文 参考訳（メタデータ） (2020-12-20T16:54:38Z) - Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。
本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。
提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
論文 参考訳（メタデータ） (2020-03-21T02:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。