論文の概要: Adaptive Masking Enhances Visual Grounding

• arxiv url: http://arxiv.org/abs/2410.03161v1
• Date: Fri, 4 Oct 2024 05:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 03:14:31.148134
• Title: Adaptive Masking Enhances Visual Grounding
• Title（参考訳）: 適応型マスキングは視覚的グラウンド化を促進する
• Authors: Sen Jia, Lei Li,
• Abstract要約: ローショット学習シナリオにおける語彙接地を改善するために,ガウス放射変調を用いた画像解釈型マスキングを提案する。 我々はCOCOやODinWを含むベンチマークデータセットに対するアプローチの有効性を評価し、ゼロショットタスクや少数ショットタスクにおいて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 12.793586888511978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, zero-shot and few-shot learning in visual grounding have garnered considerable attention, largely due to the success of large-scale vision-language pre-training on expansive datasets such as LAION-5B and DataComp-1B. However, the continuous expansion of these datasets presents significant challenges, particularly with respect to data availability and computational overhead, thus creating a bottleneck in the advancement of low-shot learning capabilities. In this paper, we propose IMAGE, Interpretative MAsking with Gaussian radiation modEling, aimed at enhancing vocabulary grounding in low-shot learning scenarios without necessitating an increase in dataset size. Drawing inspiration from cognitive science and the recent success of masked autoencoders (MAE), our method leverages adaptive masking on salient regions of the feature maps generated by the vision backbone. This enables the model to learn robust, generalized representations through the reconstruction of occluded information, thereby facilitating effective attention to both local and global features. We evaluate the efficacy of our approach on benchmark datasets, including COCO and ODinW, demonstrating its superior performance in zero-shot and few-shot tasks. Experimental results consistently show that IMAGE outperforms baseline models, achieving enhanced generalization and improved performance in low-shot scenarios. These findings highlight the potential of adaptive feature manipulation through attention mechanisms and Gaussian modeling as a promising alternative to approaches that rely on the continual scaling of dataset sizes for the advancement of zero-shot and few-shot learning. Our code is publicly available at https://github.com/git-lenny/IMAGE.
• Abstract（参考訳）: 近年では、LAION-5BやDataComp-1Bのような拡張データセットでの大規模視覚言語事前学習の成功により、ゼロショットと少数ショット学習が注目されている。 しかし、これらのデータセットの継続的な拡張は、特にデータの可用性と計算オーバーヘッドに関して重要な課題を示し、ローショット学習能力の進歩にボトルネックを生じさせる。 本稿では,低ショットの学習シナリオにおいて,データセットサイズの増加を必要とせず,語彙基底の強化を目的とした,ガウス放射を用いた画像解釈型マスキングを提案する。 認知科学からインスピレーションを得て,近年のマスク付きオートエンコーダ(MAE)の成功により,視覚バックボーンが生成する特徴マップの有能な領域における適応マスキングを活用している。 これにより、隠蔽された情報の再構成を通じて、頑健で一般化された表現を学習し、局所的特徴とグローバル的特徴の両方に効果的な注意を向けることができる。 我々はCOCOやODinWを含むベンチマークデータセットに対するアプローチの有効性を評価し、ゼロショットタスクや少数ショットタスクにおいて優れた性能を示す。 実験結果から、画像はベースラインモデルより優れ、一般化の向上と低ショットシナリオの性能向上を実現していることがわかった。 これらの知見は、ゼロショット学習と少数ショット学習の進歩にデータセットサイズを継続的にスケーリングするアプローチに代わる、アダプティブな特徴操作とガウス的モデリングの可能性を浮き彫りにしている。 私たちのコードはhttps://github.com/git-lenny/IMAGE.comで公開されています。

関連論文リスト

• A Simple Background Augmentation Method for Object Detection with Diffusion Model [53.32935683257045]
  コンピュータビジョンでは、データの多様性の欠如がモデル性能を損なうことはよく知られている。 本稿では, 生成モデルの進歩を生かして, 単純かつ効果的なデータ拡張手法を提案する。 背景強化は、特にモデルの堅牢性と一般化能力を大幅に改善する。
  論文  参考訳（メタデータ） (2024-08-01T07:40:00Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• SeiT++: Masked Token Modeling Improves Storage-efficient Training [36.95646819348317]
  近年のDeep Neural Network(DNN)モデルでは,コンピュータビジョンタスクのパフォーマンスが大幅に向上している。 高度に一般化可能で高性能なビジョンモデルを実現するには、拡張データセットが必要である。 SeiTによる最近のブレークスルーは、Vector-Quantized (VQ)特徴ベクトル(トークン)を視覚分類のためのネットワーク入力として使用することを提案した。 本稿では,自己指導型事前学習のためのMasked Token Modeling (MTM)を統合し,SeyTを拡張した。
  論文  参考訳（メタデータ） (2023-12-15T04:11:34Z)
• ScribbleGen: Generative Data Augmentation Improves Scribble-supervised Semantic Segmentation [10.225021032417589]
  本稿では,スクリブル教師付きセマンティックセグメンテーションのための生成データ拡張手法であるScribbleGenを提案する。 セマンティックスクリブルに条件付き制御ネット拡散モデルを用いて,高品質なトレーニングデータを生成する。 我々のフレームワークは、完全に教師されたセグメンテーションを超越しても、小さなデータセットでのセグメンテーション性能を著しく改善することを示す。
  論文  参考訳（メタデータ） (2023-11-28T13:44:33Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Sparse Signal Models for Data Augmentation in Deep Learning ATR [0.8999056386710496]
  ドメイン知識を取り入れ,データ集約学習アルゴリズムの一般化能力を向上させるためのデータ拡張手法を提案する。 本研究では,空間領域における散乱中心のスパース性とアジムタル領域における散乱係数の滑らかな変動構造を活かし,過パラメータモデルフィッティングの問題を解く。
  論文  参考訳（メタデータ） (2020-12-16T21:46:33Z)
• Improving the Performance of Fine-Grain Image Classifiers via Generative Data Augmentation [0.5161531917413706]
  我々は、ロバスト生成アドリアルネットワーク(DAPPER GAN)の熟練した事前学習からデータ拡張を開発する。 DAPPER GANは、トレーニングイメージの新しいビューを自動的に生成するML分析支援ツールである。 本手法をStanford Carsデータセット上で実験的に評価し,車体形状とモデル分類精度の向上を実証した。
  論文  参考訳（メタデータ） (2020-08-12T15:29:11Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。