論文の概要: Addressing Discrepancies in Semantic and Visual Alignment in Neural Networks

• arxiv url: http://arxiv.org/abs/2306.01148v1
• Date: Thu, 1 Jun 2023 21:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 17:42:28.133571
• Title: Addressing Discrepancies in Semantic and Visual Alignment in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける意味的・視覚的アライメントの相違
• Authors: Natalie Abreu, Nathan Vaska, Victoria Helus
• Abstract要約: 我々は、意味的に類似するクラスが視覚的に異なっていたり、非類似クラスの間に視覚的類似性が存在する場合の問題を考察する。 本稿では,意味論的に類似したクラスと任意の(視覚的でない)意味的関係をよりよく整合させる目的で,データ拡張手法を提案する。 その結果,提案手法を用いると,意味的に類似したクラス同士のアライメントが増加することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the task of image classification, neural networks primarily rely on visual patterns. In robust networks, we would expect for visually similar classes to be represented similarly. We consider the problem of when semantically similar classes are visually dissimilar, and when visual similarity is present among non-similar classes. We propose a data augmentation technique with the goal of better aligning semantically similar classes with arbitrary (non-visual) semantic relationships. We leverage recent work in diffusion-based semantic mixing to generate semantic hybrids of two classes, and these hybrids are added to the training set as augmented data. We evaluate whether the method increases semantic alignment by evaluating model performance on adversarially perturbed data, with the idea that it should be easier for an adversary to switch one class to a similarly represented class. Results demonstrate that there is an increase in alignment of semantically similar classes when using our proposed data augmentation method.
• Abstract（参考訳）: 画像分類のタスクでは、ニューラルネットワークは主に視覚パターンに依存します。 堅牢なネットワークでは、視覚的に類似したクラスが同じように表現されることを期待する。 意味的に類似するクラスが視覚的に異なっていたり、類似しないクラスの間に視覚的類似性が存在するときの問題を考える。 本稿では,意味論的に類似したクラスと任意の(視覚的でない)意味的関係をよりよく整合させる目的で,データ拡張手法を提案する。 拡散に基づくセマンティックミキシングにおける最近の研究を活用して、2つのクラスのセマンティックハイブリットを生成し、これらのハイブリットを拡張データとしてトレーニングセットに追加する。 本手法は,あるクラスを類似表現されたクラスに切り替える方が容易であるという考えから,逆摂動データにおけるモデル性能を評価することにより,意味的アライメントが向上するかどうかを評価する。 その結果,提案手法を用いて意味的に類似したクラスのアライメントが増加することが示された。

関連論文リスト

• Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation [13.001629605405954]
  本研究では, トレーニングサンプルを使わずに, 新規カテゴリのパノプティクス, 例えば, セマンティックセマンティックセマンティックセマンティックセマンティクスを実現するために, ユニバーサルゼロショットセマンティクスについて検討する。 本稿では,意味空間と視覚空間を関連づけた未知のカテゴリの特徴を合成する生成モデルを提案する。 提案手法は、ゼロショットパノプティクスのセグメンテーション、インスタンスセグメンテーション、セマンティックセグメンテーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-19T17:59:16Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot Learning [74.48337375174297]
  一般化ゼロショット学習(GZSL)は、目に見えない領域から移行した知識によって、見えないカテゴリを特定する。 プロトタイプと視覚特徴の対応性を段階的にモデル化するために,デュアルセマンティック・ビジュアル・トランスフォーマーモジュール(DSVTM)をデプロイする。 DSVTMは、インスタンス中心のプロトタイプを学習して異なる画像に適応させる、インスタンス駆動セマンティックエンコーダを考案した。
  論文  参考訳（メタデータ） (2023-03-27T15:21:43Z)
• Spatial Cross-Attention Improves Self-Supervised Visual Representation Learning [5.085461418671174]
  サンプル間の空間的相互相関を考慮に入れた知識の注入を容易にするアドオンモジュールを提案する。 これにより、特徴レベルの位置や同クラスのインスタンス間の相互類似性を含むクラス内情報を蒸留することが可能になる。
  論文  参考訳（メタデータ） (2022-06-07T21:14:52Z)
• SimMatch: Semi-supervised Learning with Similarity Matching [43.61802702362675]
  SimMatchは、意味的類似性とインスタンス類似性を考慮した、新しい半教師付き学習フレームワークである。 400エポックのトレーニングで、SimMatchは67.2%、Top-1の正確度は74.4%で、ImageNetでは1%と10%のラベルが付けられている。
  論文  参考訳（メタデータ） (2022-03-14T08:08:48Z)
• Cluster-based Contrastive Disentangling for Generalized Zero-Shot Learning [25.92340532509084]
  Generalized Zero-Shot Learning (GZSL) は、目に見えないクラスと見えないクラスの両方を認識することを目的としている。 本稿では,クラスタベースのContrastive Disentangling(CCD)手法を提案する。
  論文  参考訳（メタデータ） (2022-03-05T02:50:12Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)
• Self-Supervised Classification Network [3.8073142980733]
  自己監視型エンドツーエンド分類ニューラルネットワークはラベルと表現を同時に学習する。 大規模なImageNetデータセットでうまく機能する最初の監視されていないエンドツーエンドの分類ネットワーク。
  論文  参考訳（メタデータ） (2021-03-19T19:29:42Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Adaptive Semantic-Visual Tree for Hierarchical Embeddings [67.01307058209709]
  本稿では,商品カテゴリのアーキテクチャを記述するために,階層型適応型セマンティックビジュアルツリーを提案する。 この木は、異なる意味レベルと同じ意味クラス内の視覚的類似度を同時に評価する。 各レベルにおいて、セマンティック階層に基づいて異なるマージンを設定し、それらを事前情報として組み込んで、きめ細かい機能埋め込みを学習する。
  論文  参考訳（メタデータ） (2020-03-08T03:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。