論文の概要: DORA: Dynamic Online Reinforcement Agent for Token Pruning in Vision Transformers

• arxiv url: http://arxiv.org/abs/2609.34325v1
• Date: Mon, 28 Sep 2026 05:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:47:58.62661
• Title: DORA: Dynamic Online Reinforcement Agent for Token Pruning in Vision Transformers
• Title（参考訳）: DORA:視覚変換器のトーケンプルーニングのための動的オンライン強化剤
• Abstract要約: DORAは、凍結したViTに対して入力適応型プルーニングポリシー自体を学ぶ。 DeiT-BaseのImageNet-1Kでは、FLOPを38.4%削減している。 平均して4つのViT型バックボーンの精度が一致し、DORAは13.2%のFLOPを使用する。
• 参考スコア（独自算出の注目度）: 6.235887167172886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) incur quadratic self-attention cost in the number of tokens. Most token-reduction methods adapt token identities within a prescribed layer-wise compression schedule, or search a static mask offline, and thus limit online adaptation of when and how much to prune. We propose DORA (Dynamic Online Reinforcement Agent), which learns an input-adaptive pruning policy itself for frozen ViTs. At each eligible block, a hierarchical actor decides whether to prune, how many tokens to remove, and which tokens to remove from each image's evolving representation. Because early deletions change the states observed by later decisions, DORA formulates pruning as a finite-horizon Markov decision process. Complete-prefix shadow evaluations convert final-prediction fidelity into localized per-step credit, while closed-loop accuracy feedback adjusts the fidelity penalty toward a shared accuracy-drop target. A privileged critic and all shadow computations are training-only. Deployment retains the frozen backbone and a lightweight actor that applies hard deletion and packed variable-length FlashAttention, converting token reduction into measured speedups. On ImageNet-1K with DeiT-Base, DORA reduces FLOPs by 38.4% relative to the uncompressed backbone within one percentage point of accuracy loss. Averaged across four ViT-type backbones at matched accuracy, DORA uses 13.2% fewer FLOPs and achieves 32.4% higher throughput than the corresponding per-backbone baseline means. Under zero-shot transfer to ImageNet-A, these gains widen to 20.3% and 45.6%, respectively.
• Abstract（参考訳）: 視覚変換器(ViT)はトークン数において2次自己注意コストを発生させる。 ほとんどのトークン推論手法は、所定の層単位での圧縮スケジュール内にトークンのIDを適応させるか、静的マスクをオフラインで検索する。 凍結ViTに対する入力適応型プルーニングポリシーを学習するDORA(Dynamic Online Reinforcement Agent)を提案する。 各許容ブロックにおいて、階層的アクターは、プルーンするかどうか、削除するトークン数、各画像の進化する表現から削除するトークン数を決定する。 初期の削除は後の決定によって観測される状態を変えるため、DORAは有限水平マルコフ決定過程としてプルーニングを定式化している。 完全プリフィックスシャドウ評価は、最終予測フィデリティをステップ単位のローカライズドクレジットに変換し、クローズドループ精度フィードバックは、そのフィデリティペナルティを共有精度ドロップターゲットに向けて調整する。 特権的な批評家とすべてのシャドウ計算はトレーニングのみである。 デプロイは、凍結したバックボーンと、ハード削除と可変長のFlashAttentionを適用した軽量アクタを保持し、トークンの削減を測定されたスピードアップに変換する。 DeiTベースを持つImageNet-1Kでは、DORAはFLOPを1パーセンテージの精度損失で非圧縮バックボーンに対して38.4%削減する。 平均して4つのViT型バックボーンの精度が一致し、DORAは13.2%のFLOPを使用しており、対応するバックボーン単位のベースライン平均よりも32.4%高いスループットを実現している。 ImageNet-Aへのゼロショット転送では、それぞれ20.3%と45.6%に増加した。

関連論文リスト

• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference [24.176666448303095]
  拡散言語モデルは、多くのトークンを並列に更新するが、実用的なデコーダは、しばしば固定されたdenoising horizonを使用する。 本研究では,CORA-Diffを提案する。CORA-Diffは,元のトランスファールールを保護し,ルールが未解決な位置にのみ信頼とパーシステンスをゲーティングする訓練自由法である。 その結果,タスク品質を保ったままの繰り返し認知を低減し,信頼感と持続性が確実な残留受容を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2026-07-31T07:32:10Z)
• DORA: Dynamic Online Reinforcement Agent for Token Merging in Vision Transformers [6.235887167172886]
  視覚変換器(ViT)における動的トークンマージのための最初の強化学習(RL)によるオンライン推論フレームワークであるDORAを提案する。 マージング処理をシーケンシャルマルコフ決定プロセス(MDP)として定式化し、各トランスフォーマーブロックのマージング戦略を、現在の特徴状態と層固有のコンテキストに基づいて、軽量RLエージェントが決定する。 低計算オンライン推論のための最小限のアクターヘッドを維持しつつ、高容量のCriticを安定したオフライントレーニングに利用した非対称アクター・クライブアーキテクチャを実装した。
  論文  参考訳（メタデータ） (2026-05-12T07:42:18Z)
• Block-based Symmetric Pruning and Fusion for Efficient Vision Transformers [11.916258576313776]
  Vision Transformer (ViT) は様々な視覚タスクで印象的な結果を得た。 近年の方法は、重要でないトークンをプルーニングすることで、ViTの$O(n2)$複雑さを減らすことを目的としている。 効率的なViTのための新しいbfブロックベースのシンメトリプルーニングとフュージョンを提案する。
  論文  参考訳（メタデータ） (2025-07-16T10:48:56Z)
• No Token Left Behind: Efficient Vision Transformer via Dynamic Token Idling [55.203866875294516]
  視覚変換器(ViT)はコンピュータビジョンタスクにおいて優れた性能を示した。 ViTの計算負担を軽減するために,様々なトークンプルーニング技術が導入されている。 性能と効率の優れたトレードオフを実現するための動的トークンアイドルベースのIdleViTを提案する。
  論文  参考訳（メタデータ） (2023-10-09T12:10:41Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)
• Zero-TPrune: Zero-Shot Token Pruning through Leveraging of the Attention Graph in Pre-Trained Transformers [4.621220151374309]
  トケンプルーニングは、エッジデバイスにおける指数関数的に増加する推論コストに対処する、新たなソリューションである。 トークンプルーニングにおけるトークンの重要性と類似性を両立する最初のゼロショット手法であるZero-TPruneを提案する。 視覚タスクにおけるZero-TPruneの性能を、様々な視覚変換器のバックボーンに適用し、ImageNet上でテストすることで評価する。
  論文  参考訳（メタデータ） (2023-05-27T02:08:51Z)
• CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
  本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T03:19:18Z)
• DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification [134.9393799043401]
  入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。 入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。 DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。