論文の概要: Learning In-between Imagery Dynamics via Physical Latent Spaces
- arxiv url: http://arxiv.org/abs/2310.09495v1
- Date: Sat, 14 Oct 2023 05:14:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 20:02:41.751016
- Title: Learning In-between Imagery Dynamics via Physical Latent Spaces
- Title(参考訳): 物理ラテント空間を用いた画像内ダイナミクスの学習
- Authors: Jihun Han, Yoonsang Lee, Anne Gelb
- Abstract要約: 本稿では,連続した時間ステップで観察される2つの画像間の基礎となるダイナミクスを学習するためのフレームワークを提案する。
偏微分方程式(PDE)で表される物理モデルに従う潜在変数を組み込むことにより,本手法は学習モデルの解釈可能性を保証する。
地質画像データを用いた数値実験により,学習フレームワークの堅牢性と有効性を示す。
- 参考スコア(独自算出の注目度): 0.7366405857677226
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a framework designed to learn the underlying dynamics between two
images observed at consecutive time steps. The complex nature of image data and
the lack of temporal information pose significant challenges in capturing the
unique evolving patterns. Our proposed method focuses on estimating the
intermediary stages of image evolution, allowing for interpretability through
latent dynamics while preserving spatial correlations with the image. By
incorporating a latent variable that follows a physical model expressed in
partial differential equations (PDEs), our approach ensures the
interpretability of the learned model and provides insight into corresponding
image dynamics. We demonstrate the robustness and effectiveness of our learning
framework through a series of numerical tests using geoscientific imagery data.
- Abstract(参考訳): 我々は,連続する時間ステップで観測される2つの画像間の基盤となるダイナミクスを学ぶために設計されたフレームワークを提案する。
画像データの複雑な性質と時間情報の欠如は、ユニークな進化パターンを捉える上で大きな課題となる。
提案手法は画像進化の中間段階を推定することに焦点を当て,画像との空間的相関を保ちながら潜時ダイナミクスによる解釈性を実現する。
偏微分方程式 (pdes) で表される物理モデルに従う潜在変数を組み込むことにより, 学習モデルの解釈可能性を確保し, 対応する画像ダイナミクスに対する洞察を与える。
地質画像データを用いた数値実験により,学習フレームワークの堅牢性と有効性を示す。
関連論文リスト
- Learning semantical dynamics and spatiotemporal collaboration for human pose estimation in video [3.2195139886901813]
マルチレベル意味論と多フレーム人間のポーズ推定を学習する新しいフレームワークを提案する。
具体的には、まずマルチタスクコンテキストを設計し、再構築戦略を示す。
この戦略は、光学(パッチ)立方体とフレームの特徴を徐々に隠蔽することにより、フレーム間の多時的意味関係を探索するモデルを刺激する。
論文 参考訳(メタデータ) (2025-02-15T00:35:34Z) - Continuity-Preserving Convolutional Autoencoders for Learning Continuous Latent Dynamical Models from Images [12.767281330110626]
連続力学系は多くの科学と工学の分野の基礎となっている。
本稿では,連続潜時状態とそれに対応する連続潜時動的モデルを離散画像フレームから学習するための連続保存畳み込みオートエンコーダ(CpAE)を提案する。
論文 参考訳(メタデータ) (2025-02-02T11:31:58Z) - Deep ContourFlow: Advancing Active Contours with Deep Learning [3.9948520633731026]
画像分割のための教師なしとワンショットの両方のアプローチのためのフレームワークを提案する。
広範なラベル付きトレーニングデータを必要とせずに、複雑なオブジェクト境界をキャプチャできる。
これは特に、注釈の不足に直面している分野である歴史学において必要である。
論文 参考訳(メタデータ) (2024-07-15T13:12:34Z) - Single-shot Tomography of Discrete Dynamic Objects [1.1407697960152927]
ダイナミックトモグラフィーにおける高分解能時間像の再構成法を提案する。
本研究の意義は、断層撮影における動的過程の可視化と解析の改善にまで及んでいる。
論文 参考訳(メタデータ) (2023-11-09T10:52:02Z) - Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。
物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。
本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
論文 参考訳(メタデータ) (2023-04-25T15:53:45Z) - Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。
現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。
GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
論文 参考訳(メタデータ) (2022-11-14T11:41:44Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳(メタデータ) (2022-10-07T17:56:53Z) - Moment evolution equations and moment matching for stochastic image
EPDiff [68.97335984455059]
画像変形モデルにより、画像領域を変形させることにより、時間連続的な画像変換の研究が可能になる。
応用例としては、人口傾向とランダムな被写体特定変異の両方を用いた医療画像分析がある。
パラメータフルモデルにおける統計的推測のための推定器を構築するために、対応する伊藤拡散のモーメント近似を用いる。
論文 参考訳(メタデータ) (2021-10-07T11:08:11Z) - Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。
私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。
将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
論文 参考訳(メタデータ) (2021-01-07T02:41:32Z) - Heteroscedastic Uncertainty for Robust Generative Latent Dynamics [7.107159120605662]
本稿では,潜在状態表現と関連するダイナミクスを協調的に学習する手法を提案する。
我々の主な貢献として、我々の表現がヘテロスセダスティックあるいは入力固有の不確実性の概念を捉えることができるかを説明します。
画像に基づく2つのタスクの予測と制御実験の結果を示す。
論文 参考訳(メタデータ) (2020-08-18T21:04:33Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。