論文の概要: Visual Representation Learning Guided By Multi-modal Prior Knowledge

• arxiv url: http://arxiv.org/abs/2410.15981v1
• Date: Mon, 21 Oct 2024 13:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:57.846605
• Title: Visual Representation Learning Guided By Multi-modal Prior Knowledge
• Title（参考訳）: マルチモーダル事前知識による視覚表現学習
• Authors: Hongkuan Zhou, Lavdim Halilaj, Sebastian Monka, Stefan Schmid, Yuqicheng Zhu, Bo Xiong, Steffen Staab,
• Abstract要約: 分布シフト下での一般化を改善するために,知識誘導型視覚表現学習(KGV)を提案する。 我々は,1)階層的および関連性を持つ知識グラフ(KG),2)KGで意味的に表現された視覚要素の合成画像を生成する。 KGVは全ての実験のベースラインよりも高い精度とデータ効率を示す。
• 参考スコア（独自算出の注目度）: 29.954639194410586
• License:
• Abstract: Despite the remarkable success of deep neural networks (DNNs) in computer vision, they fail to remain high-performing when facing distribution shifts between training and testing data. In this paper, we propose Knowledge-Guided Visual representation learning (KGV), a distribution-based learning approach leveraging multi-modal prior knowledge, to improve generalization under distribution shift. We use prior knowledge from two distinct modalities: 1) a knowledge graph (KG) with hierarchical and association relationships; and 2) generated synthetic images of visual elements semantically represented in the KG. The respective embeddings are generated from the given modalities in a common latent space, i.e., visual embeddings from original and synthetic images as well as knowledge graph embeddings (KGEs). These embeddings are aligned via a novel variant of translation-based KGE methods, where the node and relation embeddings of the KG are modeled as Gaussian distributions and translations respectively. We claim that incorporating multi-model prior knowledge enables more regularized learning of image representations. Thus, the models are able to better generalize across different data distributions. We evaluate KGV on different image classification tasks with major or minor distribution shifts, namely road sign classification across datasets from Germany, China, and Russia, image classification with the mini-ImageNet dataset and its variants, as well as the DVM-CAR dataset. The results demonstrate that KGV consistently exhibits higher accuracy and data efficiency than the baselines across all experiments.
• Abstract（参考訳）: コンピュータビジョンにおけるディープニューラルネットワーク(DNN)の顕著な成功にもかかわらず、トレーニングとテストデータの分散シフトに直面しても、高いパフォーマンスを維持することはできない。 本稿では,マルチモーダルな事前知識を活用した分散学習手法であるKGV(Knowledge-Guided Visual Expression Learning)を提案する。 私たちは2つの異なるモダリティからの事前知識を使用します。 1) 階層的及び関連性のある知識グラフ(KG) 2)KGで意味的に表現された視覚要素の合成画像を生成する。 それぞれの埋め込みは、与えられたモダリティ、すなわち原画像や合成画像からの視覚的な埋め込み、知識グラフの埋め込み(KGE)から生成される。 これらの埋め込みは、KGのノードと関係埋め込みをそれぞれガウス分布と翻訳としてモデル化する翻訳ベースの新しい変種KGE法によって整列される。 マルチモデル事前知識を取り入れることで、画像表現のより規則化された学習が可能になると我々は主張する。 したがって、モデルは異なるデータ分布をまたいでより良く一般化することができる。 我々は、KGVを、主要またはマイナーな分布シフトを伴う様々な画像分類タスク、すなわちドイツ、中国、ロシアのデータセット間の道路標識分類、ミニイメージネットデータセットとその変種による画像分類、およびDVM-CARデータセットで評価する。 その結果、KGVは全ての実験のベースラインよりも高い精度とデータ効率を示すことがわかった。

関連論文リスト

• Dual Advancement of Representation Learning and Clustering for Sparse and Noisy Images [14.836487514037994]
  SNI(Sparse and Noisy Image)は、効果的な表現学習とクラスタリングに重要な課題を提起する。 本稿では、マスク画像モデリングから得られた表現を強化するために、DARLC(Dual Advancement of Representation Learning and Clustering)を提案する。 我々のフレームワークは、局所的な認識性、特異性、関係意味論の理解を高めることによって、表現の学習を改善する包括的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-09-03T10:52:27Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Additional Look into GAN-based Augmentation for Deep Learning COVID-19 Image Classification [57.1795052451257]
  我々は,GANに基づく拡張性能のデータセットサイズ依存性について,小サンプルに着目して検討した。 両方のセットでStyleGAN2-ADAをトレーニングし、生成した画像の品質を検証した後、マルチクラス分類問題における拡張アプローチの1つとしてトレーニングされたGANを使用する。 GANベースの拡張アプローチは、中規模および大規模データセットでは古典的な拡張に匹敵するが、より小さなデータセットでは不十分である。
  論文  参考訳（メタデータ） (2024-01-26T08:28:13Z)
• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Exploiting the relationship between visual and textual features in social networks for image classification with zero-shot deep learning [0.0]
  本稿では,CLIPニューラルネットワークアーキテクチャの伝達可能な学習能力に基づく分類器アンサンブルを提案する。 本研究は,Placesデータセットのラベルによる画像分類タスクに基づいて,視覚的部分のみを考慮した実験である。 画像に関連付けられたテキストを考えることは、目標に応じて精度を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2021-07-08T10:54:59Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。