論文の概要: DRIP: Dynamic patch Reduction via Interpretable Pooling

• arxiv url: http://arxiv.org/abs/2510.25067v1
• Date: Wed, 29 Oct 2025 01:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.89893
• Title: DRIP: Dynamic patch Reduction via Interpretable Pooling
• Title（参考訳）: DRIP: 解釈型プールによる動的パッチ削減
• Authors: Yusen Peng, Sachin Kumar,
• Abstract要約: 入力画像に適応し、視覚エンコーダの深い層にトークンを動的にマージするDRIP(Interpretable Pooling)による動的パッチ削減を提案する。 スクラッチからのImageNetトレーニングとCLIPのコントラストプレトレーニングの両方の結果は、同等の分類/ゼロショット性能を維持しながら、GFLOPの大幅な削減を示している。
• 参考スコア（独自算出の注目度）: 4.417564179511245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the advances in vision-language models, including contrastive pretraining and instruction tuning, have greatly pushed the frontier of multimodal AI. However, owing to the large-scale and hence expensive pretraining, the efficiency concern has discouraged researchers from attempting to pretrain a vision language model from scratch. In this work, we propose Dynamic patch Reduction via Interpretable Pooling (DRIP), which adapts to the input images and dynamically merges tokens in the deeper layers of a visual encoder. Our results on both ImageNet training from scratch and CLIP contrastive pretraining demonstrate a significant GFLOP reduction while maintaining comparable classification/zero-shot performance. To further validate our proposed method, we conduct continual pretraining on a large biology dataset, extending its impact into scientific domains.
• Abstract（参考訳）: 近年、対照的な事前訓練や指導訓練を含む視覚言語モデルの進歩は、マルチモーダルAIのフロンティアを大きく押し上げている。 しかし、大規模かつ従って高価な事前訓練のため、効率性に関する懸念は、研究者が視覚言語モデルをゼロから事前訓練することを妨げている。 本研究では、入力画像に適応し、視覚エンコーダの深い層にトークンを動的にマージするDRIP(Dynamic patch Reducing via Interpretable Pooling)を提案する。 スクラッチからのImageNetトレーニングとCLIPのコントラストプレトレーニングの両方の結果は、同等の分類/ゼロショット性能を維持しながら、GFLOPの大幅な削減を示している。 提案手法をさらに検証するため,大規模な生物学データセット上で連続的な事前学習を行い,その影響を科学的領域に広げる。

関連論文リスト

• DepthART: Monocular Depth Estimation as Autoregressive Refinement Task [2.3884184860468136]
  DepthART - Depth Autoregressive Refinement Taskとして定式化された新しいトレーニング手法を紹介する。 モデル自身の予測を入力として利用することにより、目標を残留最小化とし、トレーニングと推論手順の相違を効果的に軽減する。 提案手法を用いてHypersimデータセットをトレーニングすると、既存の生成的および識別的ベースラインと比較して、複数の未確認ベンチマークで優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-09-23T13:36:34Z)
• Artificial-Spiking Hierarchical Networks for Vision-Language Representation Learning [16.902924543372713]
  最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。 本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。 実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-18T10:40:25Z)
• ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。 Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。 本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:19:52Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Masked Image Modeling with Denoising Contrast [30.31920660487222]
  マスク付き画像モデリングは、視覚変換器の最先端性能でこの研究のラインを独占している。 画像内画像間のコントラスト制約を生成するための,新しい事前学習手法であるConMIMを導入する。 ConMIM-pretrained vision Transformer with various scales achieve promising results on downstream image classification, semantic segmentation, object detection, and instance segmentation task。
  論文  参考訳（メタデータ） (2022-05-19T15:22:29Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Dynamic Divide-and-Conquer Adversarial Training for Robust Semantic Segmentation [79.42338812621874]
  敵のトレーニングは、敵の摂動に対するディープニューラルネットワークの堅牢性を改善することを約束している。 本研究は, 敵とクリーンの両方のサンプルに対して良好に動作可能な, 汎用的な敵の訓練手順を定式化する。 本稿では,防衛効果を高めるための動的分割対対人訓練(DDC-AT)戦略を提案する。
  論文  参考訳（メタデータ） (2020-03-14T05:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。