論文の概要: Putting Registers to Work: Task Registers for Token Pruning in Vision Transformers

• arxiv url: http://arxiv.org/abs/2608.10989v1
• Date: Tue, 11 Aug 2026 14:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.088261
• Title: Putting Registers to Work: Task Registers for Token Pruning in Vision Transformers
• Title（参考訳）: 作業に登録する:視覚変換器におけるトーケンプルーニングのためのタスクレジスタ
• Abstract要約: トーケンプルーニングポリシは通常、単一の認識パイプライン用に設計されるが、事前訓練されたビジョントランスフォーマーは、異なる空間要求のタスク間で再利用される。 画像分類,セマンティックセグメンテーション,オブジェクト検出において,プルーニングポリシのどの部分が転送されるのかを問う。 各パイプラインに対して、制御されたプローブは停止チェックポイントを凍結し、パラメータフリーの一連の基準を1つの許容層に適用する。 調査では, セグメンテーションと検出の3つの相違点を明らかにした。分類は, 最初期の層における注意に基づくプルーニングに特に敏感であり, 密集したタスクは逆の回復終点を好む。
• 参考スコア（独自算出の注目度）: 5.410304374735817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Token-pruning policies are usually designed for a single recognition pipeline, but pretrained Vision Transformers are reused across tasks with different spatial demands. We ask which parts of a pruning policy transfer across image classification, semantic segmentation, and object detection. For each pipeline, controlled probes freeze the no-pruning checkpoint and apply a series of parameter-free reduction criteria at one eligible layer at a time without retraining. The probes reveal three differences: segmentation and detection rank the criteria differently, classification is especially sensitive to attention-based pruning in the earliest layers, and the dense tasks prefer opposite recovery endpoints. These findings motivate Task-Adaptive Pruning (TAP). Existing register tokens serve as task-agnostic storage for feature artifacts. TAP instead introduces one task register per task and activates only the current one. Its evolving state ranks tokens, distributes an exact removal budget over depth, and sets the recovery scale for dense features. At a final keep rate of $ρ=0.5$, our jointly adapted model, TAP-J, reaches $47.0$ mIoU at $1.30\times$ encoder throughput on ADE20K and $53.7$ box AP at $1.32\times$ encoder throughput on COCO while remaining competitive on ImageNet-1K.
• Abstract（参考訳）: トーケンプルーニングポリシは通常、単一の認識パイプライン用に設計されるが、事前訓練されたビジョントランスフォーマーは、異なる空間要求のタスク間で再利用される。 画像分類,セマンティックセグメンテーション,オブジェクト検出において,プルーニングポリシのどの部分が転送されるのかを問う。 各パイプラインに対して、制御されたプローブは停止チェックポイントを凍結し、パラメータフリーの一連の基準を1つの許容層に適用する。 調査では, セグメンテーションと検出の3つの相違点を明らかにした。分類は, 最初期の層における注意に基づくプルーニングに特に敏感であり, 密集したタスクは逆の回復終点を好む。 これらの知見はタスク適応型プルーニング(TAP)を動機付けている。 既存のレジスタトークンは、機能アーチファクトのタスクに依存しないストレージとして機能する。 TAPはタスクごとに1つのタスクレジスタを導入し、現在のタスクのみを起動する。 その進化する州は、トークンをランク付けし、深さよりも正確に除去予算を分配し、密集した特徴の回復スケールを設定する。 最終的な保留レートが ρ=0.5$ で、我々の共同適応モデルであるTAP-J は、 ImageNet-1K で競合しながら、ADE20K で 17.0$ mIoU、ADE20K で 5.7$ のエンコーダスループット、COCO で 1.32\times$ encoderスループットで 5.7$ となる。

関連論文リスト

• SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology [47.16406021922537]
  本稿では,GLiClassをベースとした軽量ルータであるルータを紹介し,自動生成なしで各推論時間モデルラベルに適合点を割り当てる。 タスク生成には、23のファミリー、115のタスクタイプ、345のルータブルなサブタイプ、1,173の合成例と30のドメインの軸を持つタスク構造を構築する。 次に、これらのタスクでQwen3デコーダをトレーニングし、学習された要求予測を、適格性、コスト、キャッシュ再利用、安全性、主権といった属性に対するタスクごとのポリシーから明確に分離します。
  論文  参考訳（メタデータ） (2026-09-02T08:40:07Z)
• Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks [0.0]
  我々は,3つの思考活動において,異なるタスク仕様がK3モデルを用いたエージェントトークン支出に与える影響について検討した。 完全なタスク仕様を裸のユーザストーリーにすると、トークンの費用が29.7%上昇するのに対して、実行時から実行時までの分散は、迅速な変更の影響を受けないままである。
  論文  参考訳（メタデータ） (2026-08-26T05:58:12Z)
• More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
  対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。 トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。 明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
  論文  参考訳（メタデータ） (2026-07-10T10:35:24Z)
• Subtoken Vision Transformer for Fine-grained Recognition [21.033814568458897]
  SubViTは、きめ細かい視覚認識のための選択的な画像トークン化手法である。 これは、グローバルコンテキストのオリジナルのトークンシーケンスを保持しながら、複数のサブトークンを持つ識別パッチを表す。 DINOv2の平均新規カテゴリー精度を811.3%から84.7%に改善し、0.50$msの追加遅延と3.4%のFLOPが加わった。
  論文  参考訳（メタデータ） (2026-07-10T04:07:23Z)
• Sequential Planning via Anchored Robotic Keypoints [3.176338968032152]
  トレーニング不要なニューロシンボリック操作システムであるSPARK(Anchored Robotic Keypoints, SPARK)について述べる。 単一のGeminiコールは、構成可能なキネマティックプリミティブの型付き振舞いツリー(BT)としてプランを構成する。 2つ目のGeminiコールでは、オブジェクトごとに3つの代替テキストプロンプトが提案され、SAM3がそれぞれを評価します。 代替のプロンプトは、空間スイートに+27.7、オブジェクトスイートに+10.0、全体のリカバリループに+5.0を加算する。
  論文  参考訳（メタデータ） (2026-06-29T17:48:01Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
  Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。 Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
  論文  参考訳（メタデータ） (2026-02-27T07:36:32Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• AnchorFormer: Differentiable Anchor Attention for Efficient Vision Transformer [13.945118817568366]
  本稿では,アンカートークンを用いたアンカーベースの効率的な視覚変換器(AnchorFormer)を提案する。 神経層内のニューロンでアンカーを表現することにより、これらのアンカーを区別して学習し、大域的自己注意を近似することができる。 実験では、AnchorFormerの有効性を示し、ImageNet分類における9.0%の精度または46.7%のFLOPs削減を実現した。
  論文  参考訳（メタデータ） (2025-05-22T09:44:44Z)
• Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens [65.4435926060951]
  本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。 我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-05-07T10:32:18Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。