論文の概要: Soft Mixture-of-Recursions: Going Deeper with Recursive Vision Transformers

• arxiv url: http://arxiv.org/abs/2607.00774v1
• Date: Wed, 01 Jul 2026 11:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.863092
• Title: Soft Mixture-of-Recursions: Going Deeper with Recursive Vision Transformers
• Title（参考訳）: ソフト・ミックス・オブ・リカージョン:再帰視覚変換器でより深く進む
• Abstract要約: ソフト・ミックス・オブ・リカージョン(SoftMoR)とビジョン・トランスフォーマーのインスタンス化,ソフト・リカーシブ・ビジョン・トランスフォーマ(SR-ViT)を提案する。 ImageNet-1Kでは、1から4への再帰深度の増加により、SR-ViT-Sトップ-1の精度は79.83%から82.48%に改善され、追加パラメータは1.7Mに留まった。 これらの結果から、SoftMoRは、再帰によりより深く、より強力なビジョン変換器にパラメータ効率の高い経路を提供することが示された。
• 参考スコア（独自算出の注目度）: 4.38301148531795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent recursive Transformer studies have primarily reused shared parameters across computation steps to construct compact, parameter-efficient models. In this work, we leverage recursion to build effectively deeper Transformers with stronger representational capacity. However, in Vision Transformers, simply increasing recursion depth does not reliably improve performance, as existing recursive approaches do not fully utilize the intermediate representations produced throughout recursive computation. We propose Soft Mixture-of-Recursions (SoftMoR) and its Vision Transformer instantiation, Soft Recursive Vision Transformer (SR-ViT). SoftMoR learns token-wise mixture weights to softly combine outputs from all recursion steps, allowing intermediate representations to be utilized in a learnable and flexible way. Across diverse vision tasks, SR-ViT consistently improves as recursion depth increases with minimal parameter overhead. On ImageNet-1K, increasing recursion depth from 1 to 4 improves SR-ViT-S top-1 accuracy from 79.83% to 82.48% with only 1.7M additional parameters, outperforming the substantially larger DeiT-B while using approximately 27% of its parameters. These results demonstrate that SoftMoR provides a parameter-efficient path to deeper and stronger Vision Transformers through recursion.
• Abstract（参考訳）: 最近の再帰的変換器の研究は、主に計算ステップ全体で共有パラメータを再利用し、コンパクトでパラメータ効率の良いモデルを構築している。 本研究では、再帰を利用してより深い表現能力を持つトランスフォーマーを効果的に構築する。 しかし、Vision Transformersでは、既存の再帰的手法は再帰的計算を通じて生成される中間表現を完全に活用していないため、単に再帰深度を増大させるだけでは性能が確実に向上しない。 本稿では,ソフト・ミックス・オブ・リカージュ(Soft Mixture-of-Recursions,SoftMoR)とビジョン・トランスフォーマーのインスタンス化,ソフト・リカーシブ・ビジョン・トランスフォーマー(SR-ViT)を提案する。 SoftMoRはトークン単位の混合重みを学習し、すべての再帰ステップから出力をソフトに組み合わせ、中間表現を学習可能で柔軟な方法で利用できるようにする。 様々な視覚タスクにおいて、SR-ViTはパラメータのオーバーヘッドを最小限に抑えて再帰深さを増大させるため、一貫して改善される。 ImageNet-1Kでは、1から4への再帰深度の増加により、SR-ViT-Sトップ-1の精度は79.83%から82.48%に向上し、追加パラメータは1.7Mに留まった。 これらの結果から、SoftMoRは、再帰によりより深く、より強力なビジョン変換器にパラメータ効率の高い経路を提供することが示された。

関連論文リスト

• Recursive Scaling in Masked Diffusion Models [67.93066069475753]
  マスク付き拡散モデル (MDMs) は近年, シーケンス生成において有望なパラダイムとして浮上している。 本稿では,R-MDM(Recursive Masked Diffusion Models)を導入し,パラメータ数を増やすことなくモデル深度を増加させる。 Sudoku や Countdown などの構造化された生成タスク全体で、R-MDM がパラメータ効率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-06-16T15:02:49Z)
• Déjà View: Looping Transformers for Multi-View 3D Reconstruction [109.98721386523641]
  最近のフィードフォワード3次元再構成変換器は10億以上のパラメータに拡張されている。 モデルの深さは、部分的にイテレーションを購入し、ユニークなパラメータで非効率に支払い、代わりにアーキテクチャでそのイテレーションを明示することを示しています。 我々のモデルであるDéjViewは、1つのループ変換ブロックをK精細ステップのビュー毎の機能に繰り返し適用する。
  論文  参考訳（メタデータ） (2026-05-28T16:47:48Z)
• Recursive Multi-Agent Systems [106.82473907888497]
  本稿では,マルチエージェントフレームワークであるRecursiveMASを紹介する。 RecursiveMASは、軽量なRecursiveLinkモジュールを介して、異種エージェントを協調ループとして接続する。 実行時複雑性と学習力学の理論解析により、RecursiveMASは標準テキストベースMASよりも効率的であることが判明した。
  論文  参考訳（メタデータ） (2026-04-28T17:59:34Z)
• Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models [63.47909317137073]
  大規模マルチモーダルモデル (LMM) は視覚言語計算タスクにおいて顕著な成功を収めた。 しかし、その膨大なパラメータ数は、トレーニングと推論の両方で利用されていないことが多い。 LMMに適した再帰トランスフォーマーアーキテクチャであるRecursiveVLMを提案する。
  論文  参考訳（メタデータ） (2026-02-09T17:58:23Z)
• MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
  パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。 隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。 メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
  論文  参考訳（メタデータ） (2025-10-09T03:23:38Z)
• MOR-VIT: Efficient Vision Transformer with Mixture-of-Recursions [1.0411839100853515]
  MoR-ViTはトークンレベルの動的再帰機構を組み込んだ新しいビジョントランスフォーマーフレームワークである。 ImageNet-1Kと転送ベンチマークの実験は、MoR-ViTが最大70%のパラメータ還元と2.5倍の推論加速で最先端の精度を達成することを示した。
  論文  参考訳（メタデータ） (2025-07-29T12:46:36Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)
• Diversity-Guided MLP Reduction for Efficient Large Vision Transformers [62.33249256133204]
  トランスフォーマーモデルは優れたスケーリング特性を実現し、モデルキャパシティの増大により性能が向上する。 大規模モデルパラメータは、計算とメモリの大幅なコストにつながる。 そこで本稿では,大規模な視覚変換器のパラメータを著しく削減するDGMR法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T08:59:27Z)
• Sliced Recursive Transformer [23.899076070924153]
  視覚変換器における再帰操作は、追加パラメータを伴わずにパラメータ利用を改善することができる。 我々のモデル Sliced Recursive Transformer (SReT) は、効率的な視覚変換のための様々な設計と互換性がある。
  論文  参考訳（メタデータ） (2021-11-09T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。