論文の概要: Recursive CLIP: Vision-Language Distillation with Looped Transformer Blocks

• arxiv url: http://arxiv.org/abs/2610.34563v1
• Date: Sun, 25 Oct 2026 21:07:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.635936
• Title: Recursive CLIP: Vision-Language Distillation with Looped Transformer Blocks
• Title（参考訳）: 再帰的CLIP:ループ変換器ブロックを用いたビジョンランゲージ蒸留
• Abstract要約: CLIPのような対照的な視覚言語モデルは、深さにわたって独立にパラメータ化されたトランスフォーマーブロックに依存している。 転送可能なCLIPの機能を保ちながら、これらのブロックをリカレントに再利用できる範囲について検討する。 その結果,視覚言語モデルのための実用的な設計空間として,再帰的ブロック再利用が確立された。
• 参考スコア（独自算出の注目度）: 0.764671395172401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive vision-language models such as CLIP typically rely on independently parameterized transformer blocks across depth. We investigate the extent to which these blocks can instead be reused recurrently while preserving the transferable capabilities of CLIP. We study recursive transformer backbones in which a small set of $N$ transformer blocks is applied $M$ times per forward pass. By holding $N \cdot M$ fixed to the depth of a standard ViT-B, our models preserve computational depth while progressively increasing parameter sharing. We consider two recursive CLIP model families: rCLIP, where only the vision encoder is recursive, and r$^2$CLIP, where recurrence is also introduced in the text encoder. We study these models under both direct contrastive training and through knowledge distillation from a strong ViT-B/16 teacher pretrained on DFN-2B, using the substantially smaller CC3M and CC12M datasets. We evaluate the resulting models on zero-shot classification and cross-modal retrieval, and further study their adaptability through few-shot learning, visual grounding, and concept unlearning. Our results show that CLIP can tolerate substantial recurrent block reuse, although its effect depends on the encoder and downstream task. Recurrence also provides parameter efficiency by construction, since fewer distinct transformer blocks need to be stored and adapted. Our results establish recurrent block reuse as a practical design space for vision-language models and highlight its implications for knowledge transfer, downstream adaptation, and parameter efficiency.
• Abstract（参考訳）: CLIPのような対照的な視覚言語モデルは、通常、深さにわたって独立にパラメータ化されたトランスフォーマーブロックに依存している。 転送可能なCLIPの機能を保ちながら、これらのブロックをリカレントに再利用できる範囲について検討する。 本研究では, 逆転変圧器のバックボーンについて検討し, フォワードパス毎に$N$の変圧器ブロックの小さなセットをM$倍の値で適用した。 標準ViT-Bの深さに$N \cdot M$を固定することにより、パラメータ共有を徐々に増加させながら計算深度を保存できる。 再帰的CLIPモデルファミリとして、視覚エンコーダのみを再帰的とするrCLIPと、テキストエンコーダに再帰性を導入するr$^2$CLIPを考える。 DFN-2Bで事前学習した強力なViT-B/16教師の知識蒸留と直接比較学習の両面から,これらのモデルについて検討した。 ゼロショット分類とクロスモーダル検索において得られたモデルを評価し,その適応性について,少数ショット学習,視覚的接地,概念アンラーニングを用いて検討した。 この結果から,CLIPはエンコーダや下流タスクに依存するが,再帰的ブロック再利用を許容できることが示唆された。 リカレンスはまた、異なるトランスフォーマーブロックを格納し、適応する必要があるため、構成によるパラメータ効率も提供する。 本研究は,視覚言語モデルのための実用的な設計空間として再帰的ブロック再利用を確立し,知識伝達,下流適応,パラメータ効率との関連を強調した。

関連論文リスト

• One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
  reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
  論文  参考訳（メタデータ） (2026-10-08T17:58:36Z)
• RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
  リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。 この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-15T06:22:00Z)
• Déjà View: Looping Transformers for Multi-View 3D Reconstruction [109.98721386523641]
  最近のフィードフォワード3次元再構成変換器は10億以上のパラメータに拡張されている。 モデルの深さは、部分的にイテレーションを購入し、ユニークなパラメータで非効率に支払い、代わりにアーキテクチャでそのイテレーションを明示することを示しています。 我々のモデルであるDéjViewは、1つのループ変換ブロックをK精細ステップのビュー毎の機能に繰り返し適用する。
  論文  参考訳（メタデータ） (2026-05-28T16:47:48Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Replacement Learning: Training Neural Networks with Fewer Parameters [15.09968642484538]
  Replacement Learning (RepL) は、選択したブロックを置き換えることで、完全な冗長性を減らす訓練時間パラダイムである。 RepLは、不要なフルレイヤを避けながら、局所的なコンテキスト連続性を維持する。 RepLはトレーニング可能なパラメータ、GPUメモリ使用量、トレーニング時間を削減し、標準のエンドツーエンドトレーニングを適合または超過することを示す。
  論文  参考訳（メタデータ） (2026-05-19T08:34:31Z)
• Block-Recurrent Dynamics in Vision Transformers [42.261020313952976]
  我々は、トレーニングされたViTは、元の$L$ブロックの計算を、繰り返し適用された$k ll L$ブロックのみを使用して正確に書き直せるようにブロック再帰的な深さ構造を許容していると主張している。 DINOv2 ImageNet-1kの線形プローブ精度を同等の計算コストで2ブロックで回収するために、Raptorモデルを訓練する。
  論文  参考訳（メタデータ） (2025-12-23T00:18:23Z)
• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。