論文の概要: SCoRe: Submodular Combinatorial Representation Learning for Real-World Class-Imbalanced Settings

• arxiv url: http://arxiv.org/abs/2310.00165v1
• Date: Fri, 29 Sep 2023 22:09:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 06:13:33.941639
• Title: SCoRe: Submodular Combinatorial Representation Learning for Real-World Class-Imbalanced Settings
• Title（参考訳）: スコア:実世界のクラス不均衡設定のためのサブモジュラー組合せ表現学習
• Authors: Anay Majee and Suraj Kothawade and Krishnateja Killiamsetty and Rishabh Iyer
• Abstract要約: 希少クラスの視覚的特徴と構造的特徴の多様性の欠如は、非ネイティブな特徴クラスタを学ぶために現代のニューラルネットワークを制限する。 サブモジュール情報対策は、特徴クラスタ間の多様性と協力を同時にモデル化できる特性を示す。 既存の対照的な学習アプローチは、サブモジュラーであるか、あるいは、サブモジュラーなアプローチを作成するために再形式化することができる。
• 参考スコア（独自算出の注目度）: 6.294884163829946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation Learning in real-world class-imbalanced settings has emerged as a challenging task in the evolution of deep learning. Lack of diversity in visual and structural features for rare classes restricts modern neural networks to learn discriminative feature clusters. This manifests in the form of large inter-class bias between rare object classes and elevated intra-class variance among abundant classes in the dataset. Although deep metric learning approaches have shown promise in this domain, significant improvements need to be made to overcome the challenges associated with class-imbalance in mission critical tasks like autonomous navigation and medical diagnostics. Set-based combinatorial functions like Submodular Information Measures exhibit properties that allow them to simultaneously model diversity and cooperation among feature clusters. In this paper, we introduce the SCoRe (Submodular Combinatorial Representation Learning) framework and propose a family of Submodular Combinatorial Loss functions to overcome these pitfalls in contrastive learning. We also show that existing contrastive learning approaches are either submodular or can be re-formulated to create their submodular counterparts. We conduct experiments on the newly introduced family of combinatorial objectives on two image classification benchmarks - pathologically imbalanced CIFAR-10, subsets of MedMNIST and a real-world road object detection benchmark - India Driving Dataset (IDD). Our experiments clearly show that the newly introduced objectives like Facility Location, Graph-Cut and Log Determinant outperform state-of-the-art metric learners by up to 7.6% for the imbalanced classification tasks and up to 19.4% for object detection tasks.
• Abstract（参考訳）: 実世界のクラス不均衡設定における表現学習は、ディープラーニングの進化において難しい課題として現れてきた。 希少クラスの視覚的特徴と構造的特徴の多様性の欠如は、差別的特徴クラスタを学ぶために現代のニューラルネットワークを制限する。 これは、レアオブジェクトクラス間のクラス間の大きなバイアスと、データセット内の豊富なクラス間のクラス内分散の増加という形で現れます。 ディープメトリック学習のアプローチはこの領域で約束されているが、自律的なナビゲーションや医療診断といったミッションクリティカルなタスクのクラス不均衡に関連する課題を克服するために、大幅な改善が必要となる。 サブモジュール情報測度のようなセットベースの組合せ関数は、特徴クラスタ間の多様性と協調を同時にモデル化できる特性を示す。 本稿では,SCoRe(Submodular Combinatorial Representation Learning)フレームワークを導入し,これらの落とし穴を克服するサブモジュール型 Combinatorial Loss関数群を提案する。 また、既存のコントラスト学習アプローチは、サブモジュラーか、あるいはサブモジュラーに対応するために再形式化可能であることも示します。 CIFAR-10, MedMNIST のサブセット, 実世界の道路物体検出ベンチマーク - India Driving Dataset (IDD) の2つの画像分類ベンチマークにおいて, 新たに導入された組合せ目的のファミリーについて実験を行った。 実験の結果,施設配置,グラフキュート,ログ決定といった新たな目的が,非バランスな分類タスクでは最大7.6%,オブジェクト検出タスクでは最大19.4%,最先端のメトリクス学習者では最大7.6%向上したことが明らかとなった。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Continual Contrastive Finetuning Improves Low-Resource Relation Extraction [34.76128090845668]
  関係抽出は低リソースのシナリオやドメインでは特に困難である。 近年の文献は自己教師型学習によって低リソースREに取り組みつつある。 コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
  論文  参考訳（メタデータ） (2022-12-21T07:30:22Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• ScatSimCLR: self-supervised contrastive learning with pretext task regularization for small-scale datasets [5.2424255020469595]
  データの複数ビュー間の対照的な損失に基づく小規模データセットに対する自己教師型学習の課題について考察する。 同じ分類精度を維持しつつ,システム全体のパラメータ数やビュー数を大幅に削減できると主張している。
  論文  参考訳（メタデータ） (2021-08-31T15:58:45Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Interpolation-based semi-supervised learning for object detection [44.37685664440632]
  オブジェクト検出のための補間に基づく半教師付き学習手法を提案する。 提案した損失は、半教師付き学習と教師付き学習の性能を劇的に向上させる。
  論文  参考訳（メタデータ） (2020-06-03T10:53:44Z)
• FairNN- Conjoint Learning of Fair Representations for Fair Decisions [40.05268461544044]
  フェアネス認識学習のための結合特徴表現と分類を行うニューラルネットワークであるFairNNを提案する。 各種データセットに対する実験により,表現学習や教師あり学習における不公平性の分離処理よりも,このような共同アプローチの方が優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-05T12:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。