論文の概要: Retrofitting Recurrent Vision-Language Models from Pretrained Backbones

• arxiv url: http://arxiv.org/abs/2610.22075v1
• Date: Thu, 15 Oct 2026 15:34:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.162258
• Title: Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
• Title（参考訳）: 予め訓練した背骨からの繰り返し視線ランゲージモデルの再適合
• Abstract要約: 近年の研究では、事前訓練された言語モデルに深度再発を再現できることが示されている。 我々は,このパラダイムを視覚的理解に適用し,事前学習された視覚言語モデルのパラメータフットプリントを削減する。 提案手法をTinyLLaVA-1.4Bのバックボーン上で再調整中に新たな視覚言語データを導入することなく評価する。
• 参考スコア（独自算出の注目度）: 22.041921517298395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work shows that depth recurrence can be retrofitted into pretrained language models. In this work, we adapt this paradigm for visual understanding, using depth recurrence to reduce the parameter footprint of a pretrained vision-language model (VLM). To this end, we prune layers from the language backbone of the VLM and loop over a subset of the remaining layers. At each step of the loop, a linear adapter merges the block's output with the token representations from the preceding layers and projects the fused representation back into the block. As the pruning impacts the original model performance, we propose a three-stage recovery training: first, we leverage a language-only pretraining to recover the performance of the language backbone, followed by an alignment of the vision-language projector, and a full fine-tuning of the model via visual instruction tuning. In the first and the last stage, we distill the outputs of the pretrained non-recurrent model into the recurrent model, which further improves the recovery. We evaluate the proposed approach on the TinyLLaVA-1.4B backbone without introducing any new vision-language data during retrofitting. Our experiments demonstrate that the retrofitted recurrent model outperforms the unpruned baseline trained with the same recovery data while storing 23.3% fewer language parameters. We further show that the proposed retrofitting recurrence outperforms the setup of converting a recurrent LM into a VLM on the same data. Additionally, our ablations show how design choices, such as the adapter between recurrences and a larger recurrent block, lead to the improved performance of our approach. Finally, we find that our proposed model gains on reasoning-oriented benchmarks, whereas its performance on basic visual understanding benchmarks remains on par with the baseline.
• Abstract（参考訳）: 近年の研究では、事前訓練された言語モデルに深度再発を再現できることが示されている。 本研究では,このパラダイムを視覚的理解に適用し,事前学習された視覚言語モデル(VLM)のパラメータフットプリントを削減する。 この目的のために、私たちはVLMの言語バックボーンからレイヤを抽出し、残りのレイヤのサブセットをループします。 ループの各ステップで、線形アダプタは、前のレイヤのトークン表現とブロックの出力をマージし、融合した表現をブロックに投影する。 まず、言語のみの事前学習を利用して、言語バックボーンのパフォーマンスを回復し、続いて視覚言語プロジェクタのアライメントと、視覚的命令チューニングによるモデルの完全な微調整を行う。 第一段階および最終段階において、事前学習した非再帰モデルの出力を再帰モデルに蒸留し、回復をさらに改善する。 提案手法をTinyLLaVA-1.4Bのバックボーン上で再調整中に新たな視覚言語データを導入することなく評価する。 実験の結果, 再適合したリカレントモデルでは, 言語パラメータを23.3%減少させながら, 同じリカレントデータで訓練した未処理ベースラインよりも優れていた。 さらに,提案手法は,同一データ上の繰り返しLMをVLMに変換する構成よりも優れていることを示す。 さらに,再帰と再帰ブロックの間のアダプタなどの設計選択が,アプローチの性能向上につながることを示す。 最後に、提案したモデルが推論指向のベンチマークで得られるのに対して、基本的な視覚的理解ベンチマークのパフォーマンスはベースラインと同等である。

関連論文リスト

• Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning [40.28153252530189]
  大規模な視覚言語モデルは、テキスト・チェーン・オブ・シンキングを生成することで、マルチモーダル・インプットを推論することができる。 CoT推論で示される重要な機能は、自己修正 — 以前の決定を再検討し、以前のエラーを修正する — である。 既存のLVLMは反射中の視覚入力に適切に対応できず、フィードバックを接地補正に変換する能力を制限する。 本稿では,視覚的に接地した自己反射を誘発する2つのコンポーネントを明示的に設計した,新しい強化学習学習フレームワークVRRLを提案する。
  論文  参考訳（メタデータ） (2026-07-02T17:53:15Z)
• Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency [65.07757274822207]
  大規模ビジョン言語モデル(LVLM)は、目覚ましい能力を示し、その相当な計算とメモリ要件は、リソース制約されたエッジデバイスへのデプロイメントに挑戦する。 言語モデルバックボーンに構造化プルーニングを適用して既存のLVLMを圧縮し,その後に軽量回復訓練を行った。
  論文  参考訳（メタデータ） (2026-04-27T12:10:44Z)
• Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence [113.48450265178953]
  既存の事前学習された非再帰言語モデルを深度再帰モデルに変換する方法について検討する。 学習過程におけるモデルの有効深度を高めるために繰り返しのカリキュラムを用いることで,全体の計算コストを削減しつつ,性能を維持できることが判明した。
  論文  参考訳（メタデータ） (2025-11-10T18:43:07Z)
• Temporal Self-Rewarding Language Models: Decoupling Chosen-Rejected via Past-Future [38.1810626252963]
  自己回帰言語モデル(Self-Rewarding Language Models)は、LLM-as-a-Judgeプロンプトを通じて、大きな言語モデル(LLM)が応答を生成し、独自の出力を評価するアーキテクチャを提案する。 本研究では,過去,現在,将来のモデル世代を戦略的に調整し,学習信号を持続するテキストbf自己回帰言語モデルを提案する。
  論文  参考訳（メタデータ） (2025-08-08T05:25:54Z)
• Improved Representation Steering for Language Models [50.86411958644953]
  我々は新しいReference-free Preference Steering (RePS)を通して表現ステアリングを改善する方法を示す。 2Bから27Bまでのサイズを持つGemmaモデルでは、RePSは言語モデリングの目的で訓練された既存のステアリングメソッドよりも優れています。 抑圧においては、RePSはGemma-2の言語モデリングの目的と一致し、より大きなGemma-3の変種よりも優れている。
  論文  参考訳（メタデータ） (2025-05-27T07:16:40Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• LLMs are Superior Feedback Providers: Bootstrapping Reasoning for Lie Detection with Self-Generated Feedback [33.14770105185958]
  大型言語モデル (LLM) は人間に似た対話やテキストの理解に優れる。 本研究では,自己生成フィードバックを活用し,嘘検出のためのLPM推論能力を向上させるブートストラップフレームワークを提案する。 本稿では,外交ゲームにおける裏切・偽装検出のためのフレームワークの適用について検討し,プロの人間プレイヤーからのフィードバックと比較する。
  論文  参考訳（メタデータ） (2024-08-25T18:47:55Z)
• Towards Cross-modal Backward-compatible Representation Learning for Vision-Language Models [53.25790521873174]
  後方互換性トレーニング(BT)は、新しいモデルが古いモデルの埋め込みと整合することを保証するために提案されている。 本稿では、視覚のみのBTの概念を、クロスモーダル検索の分野に拡張する。 本稿では,新しいモデルの埋め込みを古いモデルにマッピングするプロジェクションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-05-23T15:46:35Z)
• FGAIF: Aligning Large Vision-Language Models with Fine-grained AI Feedback [16.24562885483636]
  ファイングレード人工知能フィードバック(FGAIF)によるLVLM(Large Vision-Language Models)のモダリティ調整手法を提案する。 具体的には、まずAIツールを用いて、応答の各セグメントの幻覚のタイプを予測し、細かなフィードバックの収集を行う。次に、収集された報酬データに基づいて、3つの特別な報酬モデルを訓練し、密集した報酬を生成する。最後に、新しいきめ細かいフィードバックモジュールをプロキシポリシー最適化(PPO)アルゴリズムに統合する。
  論文  参考訳（メタデータ） (2024-04-07T19:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。