論文の概要: MSR: Multiple Subject Reference for Video Generation

• arxiv url: http://arxiv.org/abs/2609.18393v1
• Date: Wed, 16 Sep 2026 09:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.741579
• Title: MSR: Multiple Subject Reference for Video Generation
• Title（参考訳）: MSR:ビデオ生成のためのマルチサブジェクト参照
• Abstract要約: MSR (Multiple Subject Reference) は、LTXベースのビデオ生成のためのスロット対応条件付きスキームである。 各参照画像は、独立して静的クリップとして符号化され、別個の潜在トークングループで表現される。 この手法を低ランク適応により実装し、その結果の重みと推論を解放する。
• 参考スコア（独自算出の注目度）: 1.3680653962353777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditioning a video generator on multiple images requires preserving appearance while associating each reference with its intended role. We present MSR (Multiple Subject Reference), a slot-aware conditioning scheme for LTX-based video generation. Each reference image is independently encoded as a static clip and represented by a separate latent-token group. A compact Fourier-feature multilayer perceptron adds a numeric slot embedding, while slot-dependent temporal offsets modify the group's rotary coordinates. The reference groups are prepended to noisy target tokens and serve as clean context during target-only flow-matching training. We implement this scheme through low-rank adaptation and release the resulting weights and inference workflows. Qualitative examples demonstrate compositions containing distinct characters and referenced environments in realistic and stylized scenes. Development observations suggest reduced reference confusion relative to an earlier continuous-reference baseline, while similar clothing, complex garments, and viewpoint changes remain challenging. We describe the conditioning mechanism, the retained training configuration, and the observed strengths and limitations of the released system. A supplementary audio-reference experiment adds voice conditioning while keeping the visual parameters frozen.
• Abstract（参考訳）: 複数の画像にビデオジェネレータを条件付けするには、各参照を意図した役割に関連付けながら、外観を保存する必要がある。 MSR(Multiple Subject Reference)は,LTXに基づくビデオ生成のためのスロット対応条件付スキームである。 各参照画像は、独立して静的クリップとして符号化され、別個の潜在トークングループで表現される。 コンパクトなフーリエ機能多層パーセプトロンは数値スロット埋め込みを追加し、スロット依存の時間オフセットはグループの回転座標を変更する。 参照グループは、ノイズの多いターゲットトークンに予測され、ターゲットのみのフローマッチングトレーニングの間、クリーンなコンテキストとして機能する。 我々は、低ランク適応によりこのスキームを実装し、その結果の重みと推論のワークフローを解放する。 質的な例は、現実的で様式化されたシーンにおいて、異なるキャラクターと参照された環境を含む構成を示す。 開発観察は、類似の衣服、複雑な衣服、視点の変化が依然として困難であるのに対して、初期の連続参照ベースラインに対する参照の混乱を減少させることを示唆している。 本稿では, 条件付け機構, 保持されたトレーニング構成, および, 解放されたシステムの強度と限界について述べる。 補足的なオーディオ参照実験は、視覚パラメータを凍結させながら、音声条件を付加する。

関連論文リスト

• Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
  Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。 ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。 テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
  論文  参考訳（メタデータ） (2026-08-06T09:38:30Z)
• Compositional Video Generation via Inference-Time Guidance [69.53614395025632]
  テキストからビデオへの拡散モデルは、しばしば構成的理解を必要とするプロンプトで失敗する。 凍結したテキスト・ビデオモデルにおける合成忠実度を改善するための推定時間誘導法であるtextbfCVG を提案する。
  論文  参考訳（メタデータ） (2026-05-14T15:50:25Z)
• UniCustom: Unified Visual Conditioning for Multi-Reference Image Generation [65.53694602893042]
  VLMエンコーディングの前にVTとVAE機能を融合した統合ビジュアルコンディショニングフレームワークを提案する。 2つのマルチ参照生成ベンチマークの実験により、UniCustomは主題の一貫性、命令従順、構成の忠実さを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T13:10:05Z)
• Untwisting RoPE: Frequency Control for Shared Attention in DiTs [84.14005261938284]
  位置符号化はトランスフォーマーベースの生成モデルに不可欠である。 ロータリー・ポジショナル・エンベディング (RoPE) は, 異なる位置感性を有する周波数成分に自然に分解されることを示す。 本稿では,厳密な位置アライメントよりも意味的類似性を反映するように,RoPE周波数帯域を選択的に変調する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:01:59Z)
• Test-Time Conditioning with Representation-Aligned Visual Features [9.262325724962485]
  Representation-Aligned Guidance (REPA-G)を導入する。 我々は,事前学習した特徴抽出器から抽出した条件付き表現に対して,デノナイズ処理を行う。 提案手法は, 単一パッチによるきめ細かいテクスチャマッチングから, 広義の意味指導まで, 複数スケールで多目的制御を行う。
  論文  参考訳（メタデータ） (2026-02-03T17:15:03Z)
• Flow-Guided Sparse Transformer for Video Deblurring [124.11022871999423]
  FlowGuided Sparse Transformer (F GST) はビデオデブリのためのフレームワークである。 FGSW-MSAは、推定光流のガイダンスを楽しみ、隣り合うフレームの同じシーンパッチに対応する、空間的にスパースな要素を世界中にサンプリングする。 提案するFGSTは,DVDおよびGOPROデータセットの最先端パッチよりも優れており,実際のビデオの劣化に対して,より視覚的に満足な結果が得られる。
  論文  参考訳（メタデータ） (2022-01-06T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。