論文の概要: Making Video Models Adhere to User Intent with Minor Adjustments

• arxiv url: http://arxiv.org/abs/2603.19672v1
• Date: Fri, 20 Mar 2026 06:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.020894
• Title: Making Video Models Adhere to User Intent with Minor Adjustments
• Title（参考訳）: ユーザインテントに小さな調整を施したビデオモデルの作成
• Authors: Daniel Ajisafe, Eric Hedlin, Helge Rhodin, Kwang Moo Yi,
• Abstract要約: ユーザが提供するバウンディングボックスをわずかに調整することで、世代品質と制御入力の適合性の両方を改善することができることを示す。 これは、ビデオ拡散モデルの内部の注意マップとの整合性を向上するために、バウンディングボックスを単純に最適化することで達成される。
• 参考スコア（独自算出の注目度）: 28.280737620828223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the recent drastic advancements in text-to-video diffusion models, controlling their generations has drawn interest. A popular way for control is through bounding boxes or layouts. However, enforcing adherence to these control inputs is still an open problem. In this work, we show that by slightly adjusting user-provided bounding boxes we can improve both the quality of generations and the adherence to the control inputs. This is achieved by simply optimizing the bounding boxes to better align with the internal attention maps of the video diffusion model while carefully balancing the focus on foreground and background. In a sense, we are modifying the bounding boxes to be at places where the model is familiar with. Surprisingly, we find that even with small modifications, the quality of generations can vary significantly. To do so, we propose a smooth mask to make the bounding box position differentiable and an attention-maximization objective that we use to alter the bounding boxes. We conduct thorough experiments, including a user study to validate the effectiveness of our method. Our code is made available on the project webpage to foster future research from the community.
• Abstract（参考訳）: 近年のテキスト・ビデオ拡散モデルの飛躍的な進歩により、それらの世代を制御することが関心を集めている。 コントロールの一般的な方法は、ボックスやレイアウトのバウンディングである。 しかし、これらの制御入力の遵守は依然として未解決の問題である。 本研究では、ユーザが提供するバウンディングボックスをわずかに調整することで、世代の品質と制御入力への付着性の両方を改善することができることを示す。 これは、バウンディングボックスを最適化して、ビデオ拡散モデルの内部の注意マップと整合し、前景と背景の焦点を慎重にバランスさせることによって達成される。 ある意味で、モデルに精通している場所で境界ボックスを変更しています。 驚くべきことに、小さな変更であっても、世代の品質は著しく異なる可能性がある。 そこで本稿では,境界ボックスの位置を識別可能にするためのスムーズなマスクと,境界ボックスを変更するために使用する注目度最大化目標を提案する。 提案手法の有効性を検証するために,ユーザスタディを含む徹底的な実験を行った。 私たちのコードは、コミュニティから将来の研究を促進するために、プロジェクトのWebページで公開されています。

関連論文リスト

• Prompt learning with bounding box constraints for medical image segmentation [9.429796437031577]
  ビジョン基礎モデルは、最近ポイントやバウンディングボックスのようなプロンプトを提供する際に注目すべきセグメンテーション性能を示している。 本稿では,基盤モデルの表現力と弱教師付きセグメンテーションのアノテーション効率を組み合わせた新しいフレームワークを提案する。 提案手法は,Diceスコアの平均84.90%を制限されたデータ設定で達成し,既存の完全教師付きおよび弱教師付きアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2025-07-03T16:04:08Z)
• VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing [62.15822650722473]
  VideoGrainは、ビデオコンテンツの細かい制御を実現するために、時空を変調するゼロショット方式である。 我々は、各局所的なプロンプトの注意を対応する空間距離領域に増幅することにより、テキスト・ツー・リージョン制御を強化する。 我々は、地域内意識を高め、自己注意における地域間干渉を減らすことで特徴分離を改善する。
  論文  参考訳（メタデータ） (2025-02-24T15:39:14Z)
• Replace Anyone in Videos [82.37852750357331]
  ReplaceAnyoneフレームワークは、複雑な背景を特徴とする、局所的な人間の置換と挿入に焦点を当てたフレームワークである。 我々は,このタスクを,一貫したエンド・ツー・エンドビデオ拡散アーキテクチャを用いて,ポーズガイダンスを用いた画像条件付きビデオ塗装パラダイムとして定式化する。 提案されたReplaceAnyoneは従来の3D-UNetベースモデルだけでなく、Wan2.1のようなDiTベースのビデオモデルにもシームレスに適用できる。
  論文  参考訳（メタデータ） (2024-09-30T03:27:33Z)
• Boximator: Generating Rich and Controllable Motions for Video Synthesis [12.891562157919237]
  Boximatorは、きめ細かいモーションコントロールのための新しいアプローチである。 Boximatorは既存のビデオ拡散モデルのプラグインとして機能する。 最先端のビデオ品質(FVD)スコアを達成し、2つのベースモデルを改善し、ボックス制約を組み込んだ後にさらに強化する。
  論文  参考訳（メタデータ） (2024-02-02T16:59:48Z)
• TrailBlazer: Trajectory Control for Diffusion-Based Video Generation [11.655256653219604]
  テキスト・ツー・ビデオ(T2V)生成における制御性はしばしば課題である。 我々はキーフレーミングの概念を導入し、対象の軌跡と全体の外観を移動境界ボックスと対応するプロンプトの両方でガイドできるようにする。 箱の大きさが大きくなるにつれて、視界や仮想カメラへの移動といった新たな効果が生まれます。
  論文  参考訳（メタデータ） (2023-12-31T10:51:52Z)
• MagicStick: Controllable Video Editing via Control Handle Transformations [49.29608051543133]
  MagicStickは、抽出した内部制御信号の変換を利用してビデオプロパティを編集する、制御可能なビデオ編集方法である。 統合フレームワークにおける多数の実例について実験を行った。 また、形状対応テキストベースの編集や手作り動画生成と比較し、従来の作品よりも優れた時間的一貫性と編集能力を示した。
  論文  参考訳（メタデータ） (2023-12-05T17:58:06Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• Weakly Supervised Image Segmentation Beyond Tight Bounding Box Annotations [5.000514512377416]
  本研究では,ゆるい拘束箱を監督として使用する場合,セグメンテーション性能を良好に維持できるかどうかを検討する。 提案した極変換に基づくMIL定式化は、タイトかつゆるいバウンディングボックスの両方で機能する。 その結果, 提案手法は, 任意の精度でバウンディングボックスの最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T02:11:36Z)
• PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
  本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。 トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。 アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
  論文  参考訳（メタデータ） (2020-09-20T17:53:51Z)
• Dive Deeper Into Box for Object Detection [49.923586776690115]
  そこで我々は,より正確な位置決めを行うために,ボックスに深く潜り込むことができるボックス再構成手法(DDBNet)を提案する。 実験結果から,本手法はオブジェクト検出の最先端性能に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-07-15T07:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。