論文の概要: Taxes Are All You Need: Integration of Taxonomical Hierarchy Relationships into the Contrastive Loss

• arxiv url: http://arxiv.org/abs/2406.06848v1
• Date: Mon, 10 Jun 2024 23:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 19:56:14.406136
• Title: Taxes Are All You Need: Integration of Taxonomical Hierarchy Relationships into the Contrastive Loss
• Title（参考訳）: 税は必要なものすべて--分類学的階層的関係のコントラスト的損失への統合
• Authors: Kiran Kokilepersaud, Yavuz Yarici, Mohit Prabhushankar, Ghassan AlRegib,
• Abstract要約: 本稿では,分類学的階層情報の統合を可能にする新しい教師付きコントラスト損失を提案する。 教師付きコントラスト損失は、異なるクラスラベルを持つ画像よりも、同じクラスラベルプロジェクトを持つ画像を互いに近接させることによって行われる。 対照損失における重み付けペナルティとこれらの関係を明示的に説明することにより、監督された対照損失よりも優れることを示す。
• 参考スコア（独自算出の注目度）: 14.10876324116018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a novel supervised contrastive loss that enables the integration of taxonomic hierarchy information during the representation learning process. A supervised contrastive loss operates by enforcing that images with the same class label (positive samples) project closer to each other than images with differing class labels (negative samples). The advantage of this approach is that it directly penalizes the structure of the representation space itself. This enables greater flexibility with respect to encoding semantic concepts. However, the standard supervised contrastive loss only enforces semantic structure based on the downstream task (i.e. the class label). In reality, the class label is only one level of a \emph{hierarchy of different semantic relationships known as a taxonomy}. For example, the class label is oftentimes the species of an animal, but between different classes there are higher order relationships such as all animals with wings being ``birds". We show that by explicitly accounting for these relationships with a weighting penalty in the contrastive loss we can out-perform the supervised contrastive loss. Additionally, we demonstrate the adaptability of the notion of a taxonomy by integrating our loss into medical and noise-based settings that show performance improvements by as much as 7%.
• Abstract（参考訳）: 本研究では,表現学習過程における分類学的階層情報の統合を可能にする,教師付きコントラッシブ・ロスを提案する。 教師付きコントラスト損失は、異なるクラスラベル(負のサンプル)を持つ画像よりも、同じクラスラベル(正のサンプル)を持つ画像が互いに近接していることを強制することによって機能する。 このアプローチの利点は、表現空間自体の構造を直接罰することである。 これにより、セマンティックな概念を符号化する際の柔軟性が向上する。 しかし、標準的な教師付きコントラスト損失は、ダウンストリームタスク(すなわちクラスラベル)に基づいたセマンティック構造のみを強制する。 実際には、クラスラベルは、分類学として知られる異なる意味関係の \emph{hierarchy の1つのレベルのみである。 例えば、分類ラベルは、しばしば動物の種を表わすが、異なる階級の間では、翼を持つ全ての動物が「鳥」であるなど、より上位の関係がある。 対照損失における重み付けペナルティとこれらの関係を明示的に説明することにより、監督された対照損失よりも優れることを示す。 さらに、医療や騒音に基づく環境に損失を組み込むことにより、分類学の概念の適応性を実証し、パフォーマンスを最大7%向上させる。

関連論文リスト

• Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework [75.79736930414715]
  本稿では,すべての利用可能なラベルを活用でき,クラス間の階層的関係を維持できる階層型多言語表現学習フレームワークを提案する。 比較損失に階層的ペナルティを併用し,その階層的制約を強制する。
  論文  参考訳（メタデータ） (2022-04-27T21:41:44Z)
• Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification [0.0]
  2つの細粒度テキスト分類タスクにおいて、事前訓練された言語モデルの対照的な微調整を解析する。 クラス関係を比較対象関数に適応的に組み込んで、正と負の異なる評価を支援する。 ラベルを意識したContrastive Lossは,従来のコントラスト手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-12T04:19:17Z)
• TagRec: Automated Tagging of Questions with Hierarchical Learning Taxonomy [0.0]
  オンライン教育プラットフォームは、階層的な学習分類に基づく学術的な質問を組織する 本稿では,分類学と質問のセマンティック関連性を最適化する類似性に基づく検索タスクとして,問題を定式化する。 本研究では,本手法が未確認ラベルの扱いに役立ち,野生の分類学的タグ付けに有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-03T11:50:55Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study [59.95267695402516]
  本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:12Z)
• Exploring the Hierarchy in Relation Labels for Scene Graph Generation [75.88758055269948]
  提案手法は,Recall@50において,複数の最先端ベースラインを大きなマージン(最大33%の相対利得)で改善することができる。 実験により,提案手法により,最先端のベースラインを大きなマージンで改善できることが示された。
  論文  参考訳（メタデータ） (2020-09-12T17:36:53Z)
• Hierarchical Class-Based Curriculum Loss [18.941207332233805]
  ほとんどの実世界のデータにはラベル間の依存関係があり、階層構造を使ってキャプチャできる。 i) ラベル空間に存在する階層的制約を満たすことと, (ii) 階層のレベルに基づいてラベルに一様でない重みを与えるという2つの特性を持つ損失関数, 階層的カリキュラム損失を提案する。
  論文  参考訳（メタデータ） (2020-06-05T18:48:57Z)
• Structured Prediction with Partial Labelling through the Infimum Loss [85.4940853372503]
  弱い監督の目標は、収集コストの安いラベル付け形式のみを使用してモデルを学習できるようにすることである。 これは、各データポイントに対して、実際のものを含むラベルのセットとして、監督がキャストされる不完全なアノテーションの一種です。 本稿では、構造化された予測と、部分的なラベリングを扱うための無限損失の概念に基づく統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-03-02T13:59:41Z)
• Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning [157.62595449130973]
  本稿では,現在の数ショット学習法における単純化型クラスモデリングの基本的問題について検討する。 本稿では,ラベル情報をフル活用して画像表現を洗練するための,絶対相対学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-01-12T12:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。