論文の概要: ProgResViT: Progressive Resolution and Width for Adaptive Vision Transformers

• arxiv url: http://arxiv.org/abs/2609.03216v1
• Date: Wed, 02 Sep 2026 23:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.868763
• Title: ProgResViT: Progressive Resolution and Width for Adaptive Vision Transformers
• Title（参考訳）: ProgResViT: 適応型視覚変換器のプログレッシブレゾリューションと幅
• Abstract要約: 視覚変換器(ViT)は通常、固定された入力解像度とモデル幅を使用してすべての画像を処理します。 本稿では,複数のラウンドで順次推論を行う入力適応型ViTであるProgResViTを紹介する。 DeiTベースのProgResViTは84.9%のトップ-1の精度を達成し、報告されたDeiT-III-Sの精度をわずかに上回っている。
• 参考スコア（独自算出の注目度）: 6.551757376525797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) typically process every image using a fixed input resolution and model width, even though many images can be classified with substantially less computation. We introduce ProgResViT, an input-adaptive ViT that performs inference progressively across multiple rounds. The first round processes a low-resolution image with a narrow subnetwork. Inference terminates when the prediction is sufficiently confident; otherwise, the model reuses the representations produced in the current round and proceeds with a higher-resolution input and a wider subnetwork to refine its prediction. As all rounds share a single backbone, we propose Progress-Conditioned Soft Gating (PSG), which conditions token fusion and layer outputs on the current round, block, and input resolution. On image classification, applying ProgResViT to DeiT yields better accuracy-compute trade-offs than adaptive-width, adaptive-depth, and dynamic-token baselines. With knowledge distillation, a DeiT-based ProgResViT achieves 84.9% top-1 accuracy, slightly exceeding the reported DeiT-III-S accuracy under a comparable evaluation setting. We show that the same design also provides favorable accuracy-compute trade-offs for self-supervised DINO representations and downstream semantic segmentation. Code is available at https://github.com/ds-kiel/ProgResViT.
• Abstract（参考訳）: 視覚変換器(ViT)は通常、多くの画像が計算量を大幅に減らしながら分類できるが、固定された入力解像度とモデル幅を用いて全ての画像を処理する。 本稿では,複数のラウンドで順次推論を行う入力適応型ViTであるProgResViTを紹介する。 第1ラウンドは、狭いサブネットワークで低解像度の画像を処理する。 推論は、予測が十分に自信のあるときに終了し、そうでなければ、モデルは現在のラウンドで生成された表現を再利用し、より高解像度の入力とより広いサブネットで進行し、予測を洗練させる。 全てのラウンドが単一のバックボーンを共有しているため、現在のラウンド、ブロック、入力解像度でトークンの融合と層出力を条件としたプログレッシブ・コンディションド・ソフト・ゲーティング(PSG)を提案する。 画像分類では、ProgResViTをDeiTに適用すると、適応幅、適応深度、動的トーケンベースラインよりも精度の高いトレードオフが得られる。 知識蒸留では、DeiTベースのProgResViTは84.9%のトップ-1の精度を達成し、報告されたDeiT-III-Sの精度を同等の評価条件でわずかに上回っている。 また, 自己教師型DINO表現と下流セマンティックセマンティックセグメンテーションに対して, 精度の高いトレードオフを提供する。 コードはhttps://github.com/ds-kiel/ProgResViT.comで入手できる。

関連論文リスト

• Fusion: A Framework for Unified Sequential Token AdaptatIon in VisiOn TraNsformers [2.604903535691346]
  視覚変換器は強い画像分類精度を達成するが、ほぼ同じ計算で全ての画像領域を処理する。 近年の適応推論法では、トークンを選択的に圧縮したり、早期に推論を終了することで、このコストを削減している。 トークンマージ、早期終了、トークンプルーニングをコーディネートする統合適応型推論フレームワークであるFusionを導入する。
  論文  参考訳（メタデータ） (2026-07-01T15:51:25Z)
• Self-supervised pretraining for an iterative image size agnostic vision transformer [60.09702846704075]
  ビジョントランスフォーマー(ViT)が自己教師型学習(SSL)を支配している 本稿では, DINO の自己蒸留目標に基づく, シーケンシャル・グローバルなSSLフレームワークを提案する。 我々は、ImageNet-1Kと下流分類タスクの競合性能を達成する。
  論文  参考訳（メタデータ） (2026-04-22T09:53:28Z)
• AdaPerceiver: Transformers with Adaptive Width, Depth, and Tokens [6.989655731780402]
  AdaPerceiverは,1つのモデル内での深さ,幅,トークンを統一した適応性を備えた最初のトランスフォーマーアーキテクチャである。 AdaPerceiverは85.4%の精度で、FlexiViT-Lよりも36%高いスループットを実現している。
  論文  参考訳（メタデータ） (2025-11-22T16:09:14Z)
• Towards Generalizable AI-Generated Image Detection via Image-Adaptive Prompt Learning [33.269644831847636]
  画像適応型プロンプト学習(IAPL)は、学習後に修正するのではなく、各入力画像に応じてプロンプトを調整する新しいパラダイムである。 IAPLは、広く使われているUniversalFakeDetectとGenImageデータセットで95.61%と96.7%の精度で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-03T05:41:24Z)
• Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution [34.05028995319689]
  Vision Transformer (ViT) モデルはフレキシブルなシーケンスベースのモデリングを提供する。 Native Resolution ViTはトレーニング中にシーケンスパッキングを使用して任意の解像度とアスペクト比の入力を処理する。 NaViTは画像やビデオの分類、オブジェクトの検出、セマンティックセグメンテーションといった標準的なタスクに効率的に転送できる。
  論文  参考訳（メタデータ） (2023-07-12T17:01:03Z)
• Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design [84.34416126115732]
  スケーリング法則は、最近、与えられた計算時間に最適なモデルサイズ(パラメータの数)を導出するために用いられる。 我々は、幅や深さなどの計算最適モデル形状を推測する手法を進化させ、改良し、視覚変換器でこれを実装した。 我々の形状最適化型視覚変換器SoViTは、同等の計算量で事前訓練されているにもかかわらず、サイズが2倍以上のモデルと競合する結果を得る。
  論文  参考訳（メタデータ） (2023-05-22T13:39:28Z)
• Vision Transformer with Progressive Sampling [73.60630716500154]
  本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。 ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-08-03T18:04:31Z)
• Transformer-Based Deep Image Matching for Generalizable Person Re-identification [114.56752624945142]
  画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。 視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。 そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
  論文  参考訳（メタデータ） (2021-05-30T05:38:33Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)
• RAIN: A Simple Approach for Robust and Accurate Image Classification Networks [156.09526491791772]
  既存の敵防衛手法の大部分は、予測精度を犠牲にして堅牢性を実現することが示されている。 本稿では,ロバストおよび高精度画像分類N(RAIN)と呼ぶ新しい前処理フレームワークを提案する。 RAINは入力に対してランダム化を適用して、モデルフォワード予測パスと後方勾配パスの関係を壊し、モデルロバスト性を改善する。 STL10 と ImageNet のデータセットを用いて、様々な種類の敵攻撃に対する RAIN の有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-24T02:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。