論文の概要: Anchoring Instruction Outside Mask: Exact Reference Caching for Efficient In-Context Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2608.21229v1
• Date: Fri, 21 Aug 2026 15:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.62682
• Title: Anchoring Instruction Outside Mask: Exact Reference Caching for Efficient In-Context Diffusion Transformers
• Title（参考訳）: マスク外における指示のアンカリング:効率的な文脈内拡散変換器のための具体的な参照キャッシング
• Abstract要約: インコンテキスト条件付けにより、拡散変換器はテキスト命令と視覚参照を共有注意シーケンスで処理できる。 既存の手法は、構造化されたスパースアテンションによる計算を減らす。 我々はトークンシーケンスとアテンションマスクを共同で再設計する。 当社のエクストラマスク設計では、静的テキストアンカーを使用して、命令を参照ブランチに接続しています。
• 参考スコア（独自算出の注目度）: 7.5737564873404475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnimodal generation is central to a wide range of content creation and editing applications. In-context conditioning is essential to this paradigm. It allows diffusion transformers to process text instructions and visual references in a shared attention sequence. However, each reference image introduces thousands of tokens. Computation therefore grows rapidly with the number of references. Existing methods reduce computation through structured sparse attention, which limits interactions between reference and target tokens. This structure also makes the reference K and V independent of the denoising target, allowing them to be computed once and reused across steps. However, it blocks visual references from attending to the text instruction. This substantially degrades instruction following and reference fidelity in multi-reference editing. To resolve this conflict, we jointly redesign the token sequence and attention mask. Our beyond-mask design uses static text anchors to connect the instruction to the reference branch. It preserves exact K and V reuse without adding parameters. However, this direct architectural conversion degrades generation quality. We recover the lost performance through teacher-forced velocity distillation, followed by a short on-policy stage in which the teacher supervises student-visited states. To our knowledge, this is the first use of on-policy distillation for architectural recovery in diffusion models. Across three image-editing benchmarks, our method matches full-attention generation quality. With five reference images, it accelerates the complete 40-step denoising process by 3.92x, while static text anchors introduce negligible runtime overhead; the speedup reaches 5.47x at ten references in our scaling study.
• Abstract（参考訳）: Omnimodal生成は、幅広いコンテンツ作成および編集アプリケーションの中心である。 このパラダイムには、コンテキスト内での条件付けが不可欠である。 拡散変換器はテキスト命令と視覚参照を共有注意シーケンスで処理することができる。 しかし、参照画像には数千のトークンが導入されている。 したがって、計算は参照数とともに急速に増加する。 既存の手法は、参照トークンとターゲットトークンの相互作用を制限する、構造化されたスパースアテンションによる計算を減らす。 この構造はまた、参照KとVをデノナイジングターゲットから独立させ、それらを一度計算し、ステップ間で再利用することができる。 しかし、視覚的参照がテキスト命令への参加を妨げている。 これは、マルチ参照編集における命令の追従と参照の忠実度を著しく低下させる。 この対立を解決するため、トークンシーケンスとアテンションマスクを共同で再設計する。 当社のエクストラマスク設計では、静的テキストアンカーを使用して、命令を参照ブランチに接続しています。 パラメータを追加することなく正確なKとVの再利用を保ちます。 しかし、この直接的なアーキテクチャ変換は生成品質を低下させる。 本研究は,教師による速度蒸留による失業状況の回復と,教師が生徒の視認状態を監督する短時間のオン・ポリティケーションの段階を経た。 我々の知る限り、これは拡散モデルにおけるアーキテクチャ回復のためのオンライン蒸留の最初の使用である。 3つの画像編集ベンチマークで、本手法はフルアテンション生成の品質に適合する。 5つの参照画像により、40ステップのdenoisingプロセスを3.92倍に加速し、静的テキストアンカーは無視可能なランタイムオーバーヘッドを導入し、スピードアップはスケールスタディで10の参照で5.47倍に達する。

関連論文リスト

• Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference [13.079143204091705]
  本研究は,解答可視的視点から視覚情報について検討し,解答可視的表現にはほとんど影響を与えず,後期視覚情報更新は大きいままであることを示す。 本稿では,余分な注意,FFN,あるいはその両方を選択的に回避しながら,完全な視覚情報シーケンスを保存する演算子レベルの視覚情報スキッピングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-30T16:08:29Z)
• ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation [69.45329019089041]
  マルチショットビデオ外挿(マルチショットビデオ外挿、Multi-Shot Video Extrapolation、MSVE)は、観察されたフレームまたはクリップを撮影的に構造化された一連のショットに拡張するタスクである。 MSVEは、長ビデオの障害は単にコンテキスト長の制限ではなく、コンテキスト割り当ての障害であることを明らかにした。 本稿では,再帰的コンテキスト割当(Recursive Context Allocation, ReCA)を提案する。
  論文  参考訳（メタデータ） (2026-05-26T04:16:56Z)
• CourseBlueprint: A Structured Pipeline for Adaptive Pedagogical Video Generation Grounded in Course Corpora [5.691710068675227]
  CourseBlueprintは、適応型教育ビデオ生成のためのコース付きパイプラインである。 アドホックなプロンプトチェーンの代わりに、パイプラインは型付き中間表現とバリデーションを使用する。 その結果, 教育ビデオの質は, 明示的な型付き指導契約よりも表面流速に依存しないことがわかった。
  論文  参考訳（メタデータ） (2026-05-22T02:02:38Z)
• Compositional Video Generation via Inference-Time Guidance [69.53614395025632]
  テキストからビデオへの拡散モデルは、しばしば構成的理解を必要とするプロンプトで失敗する。 凍結したテキスト・ビデオモデルにおける合成忠実度を改善するための推定時間誘導法であるtextbfCVG を提案する。
  論文  参考訳（メタデータ） (2026-05-14T15:50:25Z)
• DeCorStory: Gram-Schmidt Prompt Embedding Decorrelation for Consistent Storytelling [1.7683026013361776]
  DeCorStoryは、フレーム間のセマンティック干渉を減らす、トレーニング不要な推論時間フレームワークである。 フレームレベルのセマンティクスに即時埋め込みデコリレーションを適用し、続いて特異値の再重み付けを行い、プロンシブ固有情報を強化する。 実験は、迅速なイメージアライメント、アイデンティティの整合性、視覚的多様性において一貫した改善を示す。
  論文  参考訳（メタデータ） (2026-02-01T16:07:30Z)
• Representation Shift: Unifying Token Compression with FlashAttention [15.019223261295036]
  本稿では,各トークン表現の変化度を計測するトレーニングフリーなモデル-aメトリクスを提案する。 これにより、トークン圧縮とFlashAttentionをシームレスに統合する。 提案手法はトランスフォーマーを超えてCNNや状態空間モデルにさらに一般化する。
  論文  参考訳（メタデータ） (2025-08-01T06:53:55Z)
• RefTok: Reference-Based Tokenization for Video Generation [21.704656638282806]
  RefTokは、複雑な時間的ダイナミクスとコンテキスト情報をキャプチャできる新しい参照ベースのトークン化手法である。 提案手法は,未知の参照フレームに条件付きフレームの集合を符号化し,デコードする。 復号化時には、RefTokは動きの連続性とフレーム間のオブジェクトの出現を保存する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:55Z)
• UniTok: A Unified Tokenizer for Visual Generation and Understanding [63.23796622553615]
  視覚生成および理解モデルは通常、画像を処理するために異なるトークン化器に依存する。 我々は、新しいマルチコードブック量子化機構を備えた統一トークン化システムUniTokを紹介する。 最終的なパフォーマンスに関しては、UniTokはImageNetで0.38 rFIDと78.6%のゼロショット精度で新記録を樹立した。
  論文  参考訳（メタデータ） (2025-02-27T17:47:01Z)
• Enhancing Cross-Tokenizer Knowledge Distillation with Contextual Dynamical Mapping [85.48043537327258]
  コンテキスト動的マッピング(CDM)は、新しいクロストケナイザー蒸留フレームワークである。 文脈情報を用いてシーケンスアライメントの精度を高め、語彙マッピングを動的に改善する。 本手法は, 種々のベンチマークにおいて, 既存のクロストケナイザー蒸留ベースラインに対して有意な優位性を示す。
  論文  参考訳（メタデータ） (2025-02-16T12:46:07Z)
• TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at Scale [59.01246141215051]
  言語指導の観点から,その劣化要因を分析した。 本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。 最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
  論文  参考訳（メタデータ） (2023-05-23T15:44:56Z)
• Boosting Video Object Segmentation via Space-time Correspondence Learning [48.8275459383339]
  ビデオオブジェクトセグメンテーション(VOS)の現在のソリューションは、通常マッチングベースのレシエーションに従う。 そこで我々は,ロバストな対応マッチングを明示的に奨励することにより,マッチングベースのVOSソリューションを向上する,対応対応型トレーニングフレームワークを考案した。 提案アルゴリズムは, 広く使用されている4つのベンチマークに対して, 確固たる性能向上をもたらす。
  論文  参考訳（メタデータ） (2023-04-13T01:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。