論文の概要: One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts

• arxiv url: http://arxiv.org/abs/2610.12448v1
• Date: Thu, 08 Oct 2026 17:58:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.262594
• Title: One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts
• Title（参考訳）: ひとつのブロック、複数の深さ:深さプロのエキスパートによる繰り返し視覚変換器
• Abstract要約: reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
• 参考スコア（独自算出の注目度）: 52.62368406036621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we show that a single Transformer block, applied recurrently, can match the accuracy of a full-depth vision encoder at comparable inference FLOPs without intermediate feature distillation. reViT restores depth-specific transformations by representing the FFN at each recurrent depth as a convex combination of a small shared expert bank. A continuous normalized-depth coordinate programs this mixture, defining a resampleable trajectory through FFN parameter space. We evaluate this design in two regimes: supervised ImageNet-1k training and distillation from a DINOv2 teacher. Across both regimes, controlled adaptations identify weight-space merging as the strongest tested MoE family at a matching one-FFN budget, ahead of the token-dispatch and output-mixture alternatives. Trained from scratch, reViT-B/16 attains DeiT III accuracy with about 70\% fewer stored parameters. An 8-experts model distilled using only the teacher's output features retains nearly all of its DINOv2 teacher's linear-probe accuracy and transfers across classification, segmentation, and depth prediction. Elastic-depth training allows one checkpoint (trained model) to operate at multiple tested depths by resampling the same normalized coordinate interval. For fixed-depth deployment, the recurrent block can be materialized as a conventional dense graph, removing online routing and merging without changing the one-FFN-per-depth compute but expanding deployment storage.
• Abstract（参考訳）: 本研究では,1つのトランスフォーマーブロックを逐次適用することにより,中間的特徴蒸留を伴わずにFLOPに匹敵する精度で全深度ビジョンエンコーダの精度を向上できることを示す。 reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 連続正規化深度座標はこの混合をプログラムし、FFNパラメータ空間を通して再サンプル可能な軌道を定義する。 我々はこの設計を,DINOv2教師によるImageNet-1k訓練と蒸留の2つの体制で評価した。 両体制全体で、制御された適応は、トークン・ディスパッチと出力・ミキシングの代替案に先立ち、最強の1-FFN予算で試験されたMoEファミリーとして重量空間の融合を特定できる。 reViT-B/16はスクラッチからトレーニングされ、保存パラメータの約70倍の精度でDeiT IIIの精度を実現した。 教師の出力特徴のみを用いて蒸留した8専門家モデルは、DINOv2教師の線形プローブの精度のほぼ全てを保持しており、分類、セグメンテーション、深さ予測にまたがっている。 弾性深度トレーニングは、1つのチェックポイント(トレーニングされたモデル)が同じ正規化された座標間隔を再サンプリングすることで、複数のテストされた深さで動作できるようにする。 固定深度デプロイメントでは、リカレントブロックを従来の高密度グラフとして実現し、オンラインルーティングとマージを1-FFN-per-deepth計算を変更することなく、デプロイストレージを拡大する。

関連論文リスト

• Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers [51.96830872563455]
  Looped Transformerは、再帰的な深さにわたって共有ブロックを再利用し、自動回帰デコーディングを高価にする。 自己投機的デコーダは、早期の深さでドラフトし、完全な深さで検証することで、このコストを削減する。 本稿では,Depth-Asynchronous Self-Speculation (DAS)を導入し,検証された表現の深さからドラフト計算の深さを分離する。
  論文  参考訳（メタデータ） (2026-09-28T08:04:19Z)
• RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
  リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。 この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-15T06:22:00Z)
• EfficientPENet: Real-Time Depth Completion from Sparse LiDAR via Lightweight Multi-Modal Fusion [1.9903316442426757]
  既存の手法は、標準ベンチマークで高い精度を達成するが、組み込みハードウェアへのリアルタイムデプロイメントを妨げる重いバックボーンアーキテクチャに依存している。 本稿では,従来のResNetエンコーダを近代化したConvNeXtバックボーンに置き換えた2分岐深度補完ネットワークであるEfficientPENetを提案する。 KITTIの深さ補完ベンチマークでは、EfficientPENet は 36.24M パラメータを持つ 631.94 mm のRMSEと、48.76 FPS で動作する 20.51 ms のレイテンシを達成した。
  論文  参考訳（メタデータ） (2026-04-20T19:56:04Z)
• Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers [10.251154683874033]
  拡散変換器(DiT)は画像生成において例外的な性能を示したが、その大きなパラメータ数は計算コストが高い。 提案するPlugable Pruning with Contiguous Layer Distillation (PPCL)は,DiTアーキテクチャ用に設計されたフレキシブルな構造化プルーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-20T08:53:07Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• Self-supervised Monocular Depth Estimation with Large Kernel Attention [30.44895226042849]
  より詳細な情報を得るために,自己教師付き単眼深度推定ネットワークを提案する。 具体的には,長距離依存性をモデル化可能なカーネルアテンションに基づくデコーダを提案する。 提案手法は,KITTIデータセット上での競合結果を実現する。
  論文  参考訳（メタデータ） (2024-09-26T14:44:41Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• URCDC-Depth: Uncertainty Rectified Cross-Distillation with CutFlip for Monocular Depth Estimation [24.03121823263355]
  本稿では,トランスフォーマーと畳み込みニューラルネットワーク(CNN)間の不確かさを補正し,統合された深度推定器を学習する。 具体的には、TransformerブランチとCNNブランチの深さ推定を擬似ラベルとして使い、互いに教え合う。 そこで本研究では,深度推定のための垂直画像位置とは別に,より有用な手がかりを活用できる,驚くほどシンプルで効果的なデータ拡張手法であるCutFlipを提案する。
  論文  参考訳（メタデータ） (2023-02-16T08:53:08Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。