論文の概要: AReA: Adaptive Receptive-Field Attention for Efficient High-Resolution Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.17227v1
• Date: Mon, 12 Oct 2026 18:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:39:00.95821
• Title: AReA: Adaptive Receptive-Field Attention for Efficient High-Resolution Diffusion Transformers
• Title（参考訳）: AReA:高分解能拡散変換器の適応型受容場注意
• Abstract要約: 両問題の共通原因として,一様注意を定めている。 本稿では,知覚場が粗いものから細かいものへと進化する学習自由注意機構であるAReAを提案する。 AReAは、目標解像度と異なるモデルにまたがって、最先端のトレーニングフリーベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 14.014613492043138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating images beyond the training resolution of Diffusion Transformers (DiTs) remains challenging, as the number of tokens grows rapidly with resolution, full attention becomes expensive, and outputs often suffer from structural distortions and degraded detail. We identify uniform full attention as the common source of both problems. Attending to all tokens at every step causes quadratic cost and exposes the model to more tokens and relative distances beyond the training range, pushing the model out of distribution. We observe that attention's effective receptive field narrows during denoising, from global in early steps that form structure to local in later steps that refine details. We propose AReA, a training-free attention mechanism whose receptive field evolves from coarse to fine, following the denoising progression. In early steps, AReA applies cross-scale coarse attention over downsampled keys and values, capturing global context, while in later steps it applies local attention within progressively shrinking windows. Without additional parameters or training, experiments show that AReA consistently outperforms state-of-the-art training-free baselines across target resolutions and different models, while also being faster and more efficient.
• Abstract（参考訳）: 拡散変換器(DiT)のトレーニング解像度を超える画像の生成は、トークンの数が解像度に応じて急速に増加し、十分な注意が払われ、しばしば構造歪みや劣化した詳細に悩まされるため、依然として困難である。 両問題の共通原因として,一様注意を定めている。 すべてのステップですべてのトークンに注目すると、二次的なコストが発生し、トレーニング範囲を超えてより多くのトークンと相対距離にモデルを公開し、モデルを分散から外す。 本研究は,視覚認知における注意の効果的な受容野の狭さを,構造形成の早い段階でのグローバルな段階から,詳細を洗練するための局所的な段階まで観察する。 AReAは、知覚野が粗いものから細かいものへと進化する学習自由注意機構である。 初期のステップでは、AReAはダウンサンプルされたキーと値に対して大規模な粗い注意を払って、グローバルコンテキストをキャプチャし、その後ステップでは、徐々に縮小するウィンドウ内で局所的な注意を払っている。 追加のパラメータやトレーニングがなければ、AReAは目標の解像度と異なるモデルにまたがって、最先端のトレーニング不要のベースラインを一貫して上回り、高速で効率的であることが実験で示されている。

関連論文リスト

• AViTS: Adaptive Spatiotemporal Token Selection for Efficient Dynamic-Resolution Generation [10.734099999989127]
  動的分解能 DiT のための時間的トークン選択フレームワーク ATSは、遅延テキスト注意による意味的重要性と、拡散時間ステップ間のトークンレベルの特徴変化による時間的重要性をモデル化する。
  論文  参考訳（メタデータ） (2026-08-18T16:42:09Z)
• ExtraVAR: Stage-Aware RoPE Remapping for Resolution Extrapolation in Visual Autoregressive Models [52.648413887350195]
  我々は,グローバルな反復,局所的な反復,詳細劣化を抑制するために,ステージアウェアのRoPEリマッピングを提案する。 また、分解能不変な正規化エントロピーを介して分散を定量化するエントロピー駆動適応アテンションを提案する。 本手法は, 構造コヒーレンスと細部忠実度の両方において, 先行分解能・分光法より常に優れる。
  論文  参考訳（メタデータ） (2026-05-11T06:14:38Z)
• FreeSwim: Revisiting Sliding-Window Attention Mechanisms for Training-Free Ultra-High-Resolution Video Generation [33.76347063890194]
  そこで本研究では,ビデオ拡散変換器をネイティブスケールで事前学習し,高解像度映像を合成するトレーニングフリーな手法を提案する。 トレーニング不要のパラダイムにおいて,細かな視覚的詳細と高効率の超高精細映像を提供する。
  論文  参考訳（メタデータ） (2025-11-18T17:56:04Z)
• RefAM: Attention Magnets for Zero-Shot Referral Segmentation [103.98022860792504]
  本稿では,下流タスクの拡散変換器から特徴,注意点を活用できる新しい手法を提案する。 重要な洞察は、停止語は注意磁石として機能するということだ。 停止語を付加した背景アクティベーションを小さなクラスタに分割するアテンション再分配戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:57Z)
• Breaking Complexity Barriers: High-Resolution Image Restoration with Rank Enhanced Linear Attention [54.42902794496325]
  ソフトマックスアテンションの変種である線形アテンションは、グローバルコンテキストモデリングにおける約束を示す。 軽量な奥行き畳み込みを統合することで特徴表現を充実させる簡易かつ効果的な方法であるRランク拡張線形アテンション(RELA)を提案する。 本稿では,RELA をベースとした画像復元変換器 LAformer を提案する。
  論文  参考訳（メタデータ） (2025-05-22T02:57:23Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• Diffusion Models Without Attention [110.5623058129782]
  Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。 拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
  論文  参考訳（メタデータ） (2023-11-30T05:15:35Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。