論文の概要: Video Occupancy Models

• arxiv url: http://arxiv.org/abs/2407.09533v1
• Date: Tue, 25 Jun 2024 17:57:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:18:53.346910
• Title: Video Occupancy Models
• Title（参考訳）: ビデオ業務モデル
• Authors: Manan Tomar, Philippe Hansen-Estruch, Philip Bachman, Alex Lamb, John Langford, Matthew E. Taylor, Sergey Levine,
• Abstract要約: Video Occupancy Model (VOC) は、コンパクトな潜在空間で動作する。 従来の潜在空間世界モデルとは異なり、VOCは1ステップで将来の状態の割引分布を直接予測する。
• 参考スコア（独自算出の注目度）: 59.17330408925321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new family of video prediction models designed to support downstream control tasks. We call these models Video Occupancy models (VOCs). VOCs operate in a compact latent space, thus avoiding the need to make predictions about individual pixels. Unlike prior latent-space world models, VOCs directly predict the discounted distribution of future states in a single step, thus avoiding the need for multistep roll-outs. We show that both properties are beneficial when building predictive models of video for use in downstream control. Code is available at \href{https://github.com/manantomar/video-occupancy-models}{\texttt{github.com/manantomar/video-occupancy-models}}.
• Abstract（参考訳）: 我々は、下流制御タスクをサポートするために設計された、新しいビデオ予測モデル群を紹介する。 これらのモデルを Video Occupancy Model (VOC) と呼ぶ。 VOCはコンパクトな潜在空間で動作するため、個々のピクセルについて予測する必要がない。 従来の潜在空間の世界モデルとは異なり、VOCは1ステップで将来の状態のディスカウントを直接予測するので、マルチステップのロールアウトは不要である。 下流制御に使用するビデオの予測モデルを構築する際には,両方の特性が有用であることを示す。 コードは \href{https://github.com/manantomar/video-occupancy-models}{\textt{github.com/manantomar/video-occupancy-models}} で公開されている。

関連論文リスト

• Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective [52.778766190479374]
  遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めた。 同じ遅延空間を共有するにもかかわらず、自己回帰モデルは画像生成において LDM や MIM よりもかなり遅れている。 本稿では,画像生成モデルのための遅延空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T12:13:17Z)
• AVID: Adapting Video Diffusion Models to World Models [10.757223474031248]
  我々は,事前学習されたモデルのパラメータにアクセスすることなく,事前学習された映像拡散モデルを行動条件付き世界モデルに適用することを提案する。 AVIDは学習マスクを使用して、事前訓練されたモデルの中間出力を変更し、正確なアクション条件のビデオを生成する。 AVIDをゲームや実世界のロボットデータ上で評価し,既存の拡散モデル適応法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-01T13:48:31Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• VGMShield: Mitigating Misuse of Video Generative Models [7.963591895964269]
  VGMShieldは、フェイクビデオ生成のライフサイクルを通じて、単純だが先駆的な3つの緩和セットである。 まず、生成されたビデオにユニークさがあるかどうか、そしてそれらを実際のビデオと区別できるかどうかを理解する。 そこで本研究では,偽動画を生成モデルにマッピングするテクトニクス問題について検討する。
  論文  参考訳（メタデータ） (2024-02-20T16:39:23Z)
• A unified model for continuous conditional video prediction [14.685237010856953]
  条件付きビデオ予測タスクは通常、タスク関連モデルによって解決される。 ほぼ全ての条件付きビデオ予測モデルは、離散的な予測しか達成できない。 本稿では,これら2つの問題を同時に扱う統一モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-11T22:26:59Z)
• HARP: Autoregressive Latent Video Prediction with High-Fidelity Image Generator [90.74663948713615]
  我々は,高忠実度未来のフレームを予測可能な自己回帰遅延映像予測モデルを訓練する。 既存のモデルに最小限の修正を加えて高解像度(256x256)ビデオを作成する。
  論文  参考訳（メタデータ） (2022-09-15T08:41:57Z)
• Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
  カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。 我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
  論文  参考訳（メタデータ） (2022-04-06T17:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。