論文の概要: DORA: Dynamic Online Reinforcement Agent for Token Merging in Vision Transformers

• arxiv url: http://arxiv.org/abs/2605.11683v1
• Date: Tue, 12 May 2026 07:42:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.671746
• Title: DORA: Dynamic Online Reinforcement Agent for Token Merging in Vision Transformers
• Title（参考訳）: DORA:視覚変換器におけるトークンマージのための動的オンライン強化剤
• Authors: Kaixuan He, Song Chen, Yi Kang,
• Abstract要約: 視覚変換器(ViT)における動的トークンマージのための最初の強化学習(RL)によるオンライン推論フレームワークであるDORAを提案する。 マージング処理をシーケンシャルマルコフ決定プロセス(MDP)として定式化し、各トランスフォーマーブロックのマージング戦略を、現在の特徴状態と層固有のコンテキストに基づいて、軽量RLエージェントが決定する。 低計算オンライン推論のための最小限のアクターヘッドを維持しつつ、高容量のCriticを安定したオフライントレーニングに利用した非対称アクター・クライブアーキテクチャを実装した。
• 参考スコア（独自算出の注目度）: 6.235887167172886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) incur significant computational overhead due to the quadratic complexity of self-attention relative to the token sequence length. While existing token reduction methods mitigate this issue, they predominantly rely on fixed heuristic metrics, predefined ratios, or static offline masks, which lack the adaptability to capture input-dependent redundancy during inference. In this paper, we propose DORA (Dynamic Online Reinforcement Agent), the first reinforcement learning (RL)-driven online inference framework for dynamic token merging in ViTs. We formulate the merging process as a sequential Markov Decision Process (MDP), where a lightweight RL agent determines the merging strategy for each Transformer block based on the current feature state and layer-specific context. To balance computational efficiency and feature fidelity, the agent is optimized via a dense reward function incorporating a non-linear distillation-based penalty. We implement an asymmetric Actor-Critic architecture that utilizes a high-capacity Critic for stable offline training while retaining a minimal Actor head for low-computation online inference. Evaluations across multiple ViT scales (Tiny to Large) demonstrate that DORA improves the accuracy-efficiency Pareto front compared to current baselines. Under strict negligible accuracy-drop constraints (<= 0.05%), DORA achieves up to a 12.66% token merging rate, and delivers up to a 569.7% relative improvement over the most efficient baseline. On ImageNet-1K, under aligned accuracy constraints, DORA achieves up to a 76% relative improvement in computational savings compared to state-of-the-art methods. Furthermore, on out-of-distribution (OOD) benchmarks such as ImageNet-A and ImageNet-C, DORA attains a relative efficiency advantage of over 430%.
• Abstract（参考訳）: 視覚変換器(ViT)はトークン列長に対する自己アテンションの2次複雑さにより、計算オーバーヘッドが大幅に増大する。 既存のトークン削減手法はこの問題を緩和するが、それらは主に固定ヒューリスティックなメトリクス、あらかじめ定義された比率、あるいは静的なオフラインマスクに依存しており、推論中に入力依存の冗長性を捉える適応性に欠ける。 本稿では,第1次強化学習(RL)による動的トークンマージのためのオンライン推論フレームワークであるDORA(Dynamic Online Reinforcement Agent)を提案する。 マージング処理をシーケンシャルマルコフ決定プロセス(MDP)として定式化し、各トランスフォーマーブロックのマージング戦略を、現在の特徴状態と層固有のコンテキストに基づいて、軽量RLエージェントが決定する。 非線型蒸留に基づくペナルティを取り入れた高密度報酬関数により、計算効率と特徴フィリティのバランスをとるために、エージェントを最適化する。 低計算オンライン推論のための最小限のアクターヘッドを維持しつつ、高容量のCriticを安定したオフライントレーニングに利用した非対称アクター・クライブアーキテクチャを実装した。 複数の ViT スケール (Tiny to Large) での評価は、DORA が現在のベースラインと比較して精度・効率のPareto フロントを改善していることを示している。 厳密な無視可能な精度・ドロップの制約(=0.05%)の下では、DORAは最大12.66%のトークンのマージレートを達成し、最も効率的なベースラインよりも569.7%の相対的な改善をもたらす。 ImageNet-1Kでは、一致した精度の制約の下で、DORAは最先端の手法と比較して計算コストを最大で76%向上させる。 さらに、ImageNet-AやImageNet-Cのようなアウト・オブ・ディストリビューション(OOD)ベンチマークでは、DORAは430%以上の相対的な効率性を持つ。

関連論文リスト

• LiquidTAD: Efficient Temporal Action Detection via Parallel Liquid-Inspired Temporal Relaxation [2.3837169660687123]
  LiquidTADは、液体神経力学以前の指数緩和を並列時間演算子に蒸留するフレームワークである。 LiquidTADは、モデルフットプリントを大幅に低下させながら、強力なベースラインと競合する精度を達成する。
  論文  参考訳（メタデータ） (2026-04-20T13:48:17Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• IMSE: Efficient U-Net-based Speech Enhancement using Inception Depthwise Convolution and Amplitude-Aware Linear Attention [2.3959703715401903]
  本稿では,系統的に最適化された超軽量ネットワークIMSEを提案する。 1) MET モジュールを Amplitude-Aware Linear Attention (MALA) に、2) Deformable Embedding (DE) モジュールを Inception Depthwise Convolution (IDConv) に置き換える。 実験では、IMSEはパラメータ数を16.8%(0.513Mから0.427M)削減し、PESQ測定値(3.373)の最先端技術に匹敵する競争性能を達成する。
  論文  参考訳（メタデータ） (2025-11-18T14:11:54Z)
• Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
  固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。 この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-10-17T07:43:51Z)
• TTF-VLA: Temporal Token Fusion via Pixel-Attention Integration for Vision-Language-Action Models [29.878993349922368]
  Vision-Language-Action (VLA)モデルは、ロボット操作タスクに固有の貴重な時間情報を捨て、各タイミングで視覚入力を独立に処理する。 本稿では,VLA推論品質を向上させるために,歴史的および現在の視覚表現を統合した訓練不要なTTFを提案する。
  論文  参考訳（メタデータ） (2025-08-15T12:03:34Z)
• Share Your Attention: Transformer Weight Sharing via Matrix-based Dictionary Learning [6.346469177254699]
  本稿ではトランス層間における重み共有の構造化フレームワークを提案する。 CNNにおける辞書学習に着想を得て,トランスフォーマー層間の重み共有を構造化するためのフレームワークを提案する。 提案手法は,アテンション投影行列を共有辞書原子に分解し,アテンションモジュールのパラメータを66.7%削減する。
  論文  参考訳（メタデータ） (2025-08-06T16:06:43Z)
• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Skip-Attention: Improving Vision Transformers by Paying Less Attention [55.47058516775423]
  視覚計算変換器(ViT)は、すべての層で高価な自己注意操作を使用する。 また,SkipAtを提案する。SkipAtは,先行層から自己注意を再利用して1層以上の注意を近似する手法である。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-01-05T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。