論文の概要: SG-MIM: Structured Knowledge Guided Efficient Pre-training for Dense Prediction

• arxiv url: http://arxiv.org/abs/2409.02513v1
• Date: Wed, 4 Sep 2024 08:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 19:41:01.672400
• Title: SG-MIM: Structured Knowledge Guided Efficient Pre-training for Dense Prediction
• Title（参考訳）: SG-MIM:Dense Predictionのための構造化知識ガイド付き事前学習
• Authors: Sumin Son, Hyesong Choi, Dongbo Min,
• Abstract要約: マスク付き画像モデリング技術はコンピュータビジョンの景観を再定義した。 その成功にもかかわらず、密集予測タスク、特に深度推定におけるMIMベースの手法の可能性は未解決のままである。 SG-MIM(Structured Knowledge Guided Masked Image Modeling framework)を提案する。
• 参考スコア（独自算出の注目度）: 17.44991827937427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked Image Modeling (MIM) techniques have redefined the landscape of computer vision, enabling pre-trained models to achieve exceptional performance across a broad spectrum of tasks. Despite their success, the full potential of MIM-based methods in dense prediction tasks, particularly in depth estimation, remains untapped. Existing MIM approaches primarily rely on single-image inputs, which makes it challenging to capture the crucial structured information, leading to suboptimal performance in tasks requiring fine-grained feature representation. To address these limitations, we propose SG-MIM, a novel Structured knowledge Guided Masked Image Modeling framework designed to enhance dense prediction tasks by utilizing structured knowledge alongside images. SG-MIM employs a lightweight relational guidance framework, allowing it to guide structured knowledge individually at the feature level rather than naively combining at the pixel level within the same architecture, as is common in traditional multi-modal pre-training methods. This approach enables the model to efficiently capture essential information while minimizing discrepancies between pre-training and downstream tasks. Furthermore, SG-MIM employs a selective masking strategy to incorporate structured knowledge, maximizing the synergy between general representation learning and structured knowledge-specific learning. Our method requires no additional annotations, making it a versatile and efficient solution for a wide range of applications. Our evaluations on the KITTI, NYU-v2, and ADE20k datasets demonstrate SG-MIM's superiority in monocular depth estimation and semantic segmentation.
• Abstract（参考訳）: Masked Image Modeling (MIM)技術はコンピュータビジョンのランドスケープを再定義し、訓練済みのモデルが幅広いタスクで例外的なパフォーマンスを達成することを可能にする。 その成功にもかかわらず、密集予測タスク、特に深度推定におけるMIMベースの手法の可能性は未解決のままである。 既存のMIMアプローチは、主に単一イメージの入力に依存しており、重要な構造化された情報をキャプチャすることは困難であり、きめ細かい特徴表現を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 これらの制約に対処するため,SG-MIM(Structured Knowledge Guided Masked Image Modeling framework)を提案する。 SG-MIMは軽量なリレーショナルガイダンスフレームワークを採用しており、従来のマルチモーダル事前学習法で一般的なように、同じアーキテクチャ内のピクセルレベルでネイティブに組み合わせるのではなく、特徴レベルで構造化された知識を個別にガイドすることができる。 このアプローチにより、トレーニング前タスクと下流タスクの相違を最小限に抑えながら、本質的な情報を効率的にキャプチャできる。 さらに、SG-MIMは、構造化知識を取り入れ、汎用表現学習と構造化知識固有学習の相乗効果を最大化する選択的マスキング戦略を採用している。 我々の手法は追加のアノテーションを必要としないため、広範囲のアプリケーションに対して汎用的で効率的なソリューションである。 KITTI,NYU-v2,ADE20kデータセットに対する評価は,SG-MIMが単眼深度推定および意味的セグメンテーションにおいて優れていることを示す。

関連論文リスト

• The Power of Noise: Toward a Unified Multi-modal Knowledge Graph Representation Framework [46.69058301083775]
  マルチモーダルな知識グラフ(MMKG)表現学習フレームワークは,構造化された知識を大規模に多モーダルな言語モデル(LLM)に統合するために重要である。 モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。 提案手法は,その堅牢性と汎用性を実証し,合計10データセットにわたるSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:43Z)
• PROMPT-IML: Image Manipulation Localization with Pre-trained Foundation Models Through Prompt Tuning [35.39822183728463]
  本稿では,改ざん画像を検出するための新しいPrompt-IMLフレームワークを提案する。 人間は、意味情報と高周波情報に基づいて、画像の真偽を識別する傾向がある。 我々のモデルは8つの典型的なフェイク画像データセットでより良い性能を得ることができる。
  論文  参考訳（メタデータ） (2024-01-01T03:45:07Z)
• BIM: Block-Wise Self-Supervised Learning with Masked Image Modeling [18.861945284506028]
  Masked Image Modeling (MIM)は、画像パッチから貴重な洞察を抽出し、基盤となるディープニューラルネットワーク(DNN)の機能抽出能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2023-11-28T20:42:30Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。