論文の概要: Time-Reversed Imaging: A Multimodal Benchmark and Framework for Reconstructing Past Human-Environment Interactions

• arxiv url: http://arxiv.org/abs/2607.22352v1
• Date: Fri, 24 Jul 2026 14:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.153836
• Title: Time-Reversed Imaging: A Multimodal Benchmark and Framework for Reconstructing Past Human-Environment Interactions
• Title（参考訳）: 時間反転イメージング:過去の人間と環境のインタラクションを再構築するためのマルチモーダルベンチマークとフレームワーク
• Abstract要約: 時間反転イメージング(Time-reversed imaging)は、マルチモーダルトレースを暗くするシーンで起きたことを推測する新しいパラダイムである。 私たちのゴールは、ビデオフレームを外挿したり補間する代わりに、熱、紫外線、可視光スペクトルで観察可能な残像から人間と環境の相互作用を推定することです。
• 参考スコア（独自算出の注目度）: 14.937446839215868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce time-reversed imaging, a new paradigm that infers what just happened in a scene from fading multimodal traces. Instead of extrapolating or interpolating video frames, our goal is to infer past human-environment interactions from residual physical imprints observable in thermal, ultraviolet, and visible spectra. To study this problem, we present TRACE-HEI, the first proof-of-concept dataset for time-reversed imaging, containing synchronized tri-modal video sequences of actions such as sitting, touching, moving objects, and liquid spills, captured across diverse materials and recorded up to three minutes after contact. To establish the benchmark, we propose a multimodal inference approach that extracts structured textual descriptions of detected traces and uses them to constrain a vision-language-guided diffusion model for reconstructing plausible past frames. Experiments show that inferring recent events from fading traces is challenging but feasible when complementary modalities reduce solution ambiguity. This work defines the first computational and experimental foundation for time-reversed imaging, bridging vision, physics, and generative reasoning, and opening new directions for scene understanding beyond instantaneous observation.
• Abstract（参考訳）: 時間反転イメージング(Time-reversed imaging)は、マルチモーダルトレースを暗くするシーンで起きたことを推測する新しいパラダイムである。 私たちのゴールは、ビデオフレームを外挿したり補間する代わりに、熱、紫外線、可視光スペクトルで観察可能な残像から人間と環境の相互作用を推定することです。 そこで本研究では,時間反転画像のための最初の概念実証データセットであるTRACE-HEIについて述べる。 このベンチマークを確立するために,検出された痕跡の構造化テキスト記述を抽出し,それを視覚言語誘導拡散モデルに制約するマルチモーダル推論手法を提案する。 実験により、近年の消失跡からの推測は困難であるが、相補的なモダリティが解のあいまいさを減少させる場合、実現可能であることが示された。 この研究は、時間反転イメージング、ブリッジングビジョン、物理、生成的推論のための最初の計算と実験の基礎を定義し、瞬間的な観察を超えたシーン理解のための新たな方向を開く。

関連論文リスト

• Closed-Loop Triplet Synergistic Generation for Long-Form Video [61.88597038104749]
  CoSyTriGenは、クローズドループビジュアル-テキスト-メモリのシナジープロセスとしてマルチショット長ビデオ生成を定式化するエージェントフレームワークである。 この三重項に対して視覚言語モデルに基づくアナライザが原因となり、2つの経路に沿ってプロンプトとメモリの両方を更新する。 StoryBenchベンチマークの実験では、代表法よりもクロスショット一貫性、即効性、撮影連続性を大幅に改善した。
  論文  参考訳（メタデータ） (2026-06-15T03:56:43Z)
• See the past: Time-Reversed Scene Reconstruction from Thermal Traces Using Visual Language Models [14.937446839215868]
  本研究は,RGBと熱画像を組み合わせて数秒前からシーン状態を復元する時間反転再構成フレームワークを提案する。 この手法は3つの制御シナリオで評価され、最大120秒前に可視過去のフレームを再構築可能であることを示す。
  論文  参考訳（メタデータ） (2025-10-06T21:57:26Z)
• Motion-aware Contrastive Learning for Temporal Panoptic Scene Graph Generation [40.974084072738954]
  本研究では,時間的シーングラフ生成のための動きパターンに着目したコントラスト表現学習フレームワークを提案する。 我々の枠組みは,類似の主題関係オブジェクト三重項のマスクチューブの近接表現をモデルに学習させることを奨励する。 また、同じビデオに属するマスクチューブの遠隔表現も学習します。
  論文  参考訳（メタデータ） (2024-12-10T03:41:07Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• Antagonising explanation and revealing bias directly through sequencing and multimodal inference [0.098314893665023]
  深層生成モデルは、例えば拡散モデルのような学習された表現に従ってデータを生成する。 生成モデリングの将来、すなわち映画やオーディオヴィジュアルアートは、未来を計算するプロセスとして拡散システムを扱うことで恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-08-25T22:51:00Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• Exploring Motion and Appearance Information for Temporal Sentence Grounding [52.01687915910648]
  本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。 動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。 提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-01-03T02:44:18Z)
• End-to-end Multi-modal Video Temporal Grounding [105.36814858748285]
  ビデオから補完情報を抽出するマルチモーダルフレームワークを提案する。 我々は、外見にRGB画像、運動に光学フロー、画像構造に深度マップを採用する。 本稿では、Charades-STAおよびActivityNet Captionsデータセットの実験を行い、提案手法が最先端のアプローチに対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:10Z)
• Exploring Spatial-Temporal Multi-Frequency Analysis for High-Fidelity and Temporal-Consistency Video Prediction [12.84409065286371]
  本稿では,マルチレベルウェーブレット解析に基づく映像予測ネットワークを提案し,空間的・時間的情報を統一的に扱う。 本モデルでは,最先端の作業に対する忠実度と時間的整合性に大きな改善が見られた。
  論文  参考訳（メタデータ） (2020-02-23T13:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。