論文の概要: DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding

• arxiv url: http://arxiv.org/abs/2504.19327v2
• Date: Sun, 21 Sep 2025 16:16:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:45.002764
• Title: DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding
• Title（参考訳）: DeepInsert: 効率的かつ高性能なマルチモーダル理解のための早期層バイパス
• Authors: Moulik Choraria, Xinbo Wu, Akhil Bhimaraju, Nitesh Sekhar, Yue Wu, Xu Zhang, Prateek Singhal, Lav R. Varshney,
• Abstract要約: 本稿では,事前学習したトランスモデルに対する簡単な修正を提案する。 まず最初に言語プロンプトと結合するのではなく、マルチモーダルトークンを直接中央に挿入します。 その結果,本手法は,学習と推論の双方において計算コストを削減できることが示唆された。
• 参考スコア（独自算出の注目度）: 26.39397960987363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The hyperscaling of data and parameter count in transformer models is yielding diminishing performance improvement, especially when weighed against training costs. Such plateauing underlines a growing need for more efficient finetuning and inference, without sacrificing performance. This is particularly pressing for multimodal learning, where the overhead of processing multimodal tokens alongside language data often limits the practical viability of these systems. In parallel, advances in representation learning and interpretability have deepened our understanding of how such models process and encode information. Notably, recent work has uncovered implicit cross-modal alignment in the deeper layers of large pretrained models. Interestingly, this aligns with our own observations that models naturally defer most cross-modal token interactions to deeper stages of computation. Building on this, we propose a simple modification. Instead of concatenation with the language prompt at the start, we insert multimodal tokens directly into the middle, allowing them to entirely bypass the early layers. Our results with diverse modalities: 1) LLaVA \& BLIP for vision, 2) LTU for audio, and 3) MoLCA for molecular data, indicate that our method reduces computational costs during both training and inference, while at the very least, preserving, if not surpassing the performance of existing baselines. Our work has important implications for scaling and composing pretrained models in a resource-efficient manner.
• Abstract（参考訳）: トランスモデルにおけるデータのハイパースケーリングとパラメータカウントは、特にトレーニングコストに対して重み付けされた場合、パフォーマンスの改善を減少させる。 このような平坦化は、性能を犠牲にすることなく、より効率的な微調整と推論の必要性が高まっている。 これは特にマルチモーダル学習において重要であり、言語データと並行してマルチモーダルトークンを処理するオーバーヘッドは、これらのシステムの実用性を制限することが多い。 並行して、表現学習と解釈可能性の進歩により、そのようなモデルがどのように情報を処理し、エンコードするかについての理解が深まりました。 特に、最近の研究により、大きな事前訓練されたモデルのより深い層において、暗黙のクロスモーダルアライメントが明らかになった。 興味深いことに、これは、モデルがほとんどのクロスモーダルトークンの相互作用を計算のより深い段階に自然に遅らせるという我々の観測と一致している。 これに基づいて、簡単な修正を提案する。 まず最初に言語プロンプトと結合するのではなく、マルチモーダルトークンを中央に直接挿入し、初期レイヤを完全にバイパスできるようにします。 我々の結果は様々である。 1)視覚用LLaVA \&BLIP 2)音声用LTU,及び 3)分子データに対するMoLCAは,トレーニングと推論の双方において計算コストを低減させるが,少なくとも既存のベースラインの性能を超越しないのであれば保存する。 我々の研究は、リソース効率のよい方法で事前訓練されたモデルのスケーリングと構成に重要な意味を持っている。

関連論文リスト

• HAD: Hybrid Architecture Distillation Outperforms Teacher in Genomic Sequence Modeling [52.58723853697152]
  DNA配列モデリングのためのハイブリッドアーキテクチャ蒸留(HAD)手法を提案する。 我々はNTv2-500Mを教師モデルとして採用し,グループマスキング戦略を考案した。 類似したパラメータを持つモデルと比較して,本モデルは優れた性能を示した。
  論文  参考訳（メタデータ） (2025-05-27T07:57:35Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Robust Latent Representation Tuning for Image-text Classification [9.789498730131607]
  大規模モデルに対する頑健な潜在表現チューニング手法を提案する。 提案手法では,モダリティ間の相関を最大化するために,モダリティ潜在翻訳モジュールを導入し,ロバストな表現を実現する。 このフレームワークでは、トレーニング中に共通セマンティクスが洗練され、1つのモダリティがなくてもロバストなパフォーマンスが達成される。
  論文  参考訳（メタデータ） (2024-06-10T06:29:00Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
  パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。 提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。 我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
  論文  参考訳（メタデータ） (2023-10-07T08:55:54Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning [0.8883733362171032]
  モデルベースのマルチタスク強化学習が、共有ポリシネットワークからモデルフリーメソッドが行うのと同様の方法で、共有ダイナミクスモデルから恩恵を受けるかどうかを検討する。 単一ダイナミクスモデルを用いて、タスクの混乱と性能低下の明確な証拠を見出す。 対策として、学習力学モデルの内部構造を個別のサブネットワークにトレーニングすることで、パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-15T12:31:31Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。