論文の概要: SCoRe: Submodular Combinatorial Representation Learning for Real-World
Class-Imbalanced Settings
- arxiv url: http://arxiv.org/abs/2310.00165v1
- Date: Fri, 29 Sep 2023 22:09:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 06:13:33.941639
- Title: SCoRe: Submodular Combinatorial Representation Learning for Real-World
Class-Imbalanced Settings
- Title(参考訳): スコア:実世界のクラス不均衡設定のためのサブモジュラー組合せ表現学習
- Authors: Anay Majee and Suraj Kothawade and Krishnateja Killiamsetty and
Rishabh Iyer
- Abstract要約: 希少クラスの視覚的特徴と構造的特徴の多様性の欠如は、非ネイティブな特徴クラスタを学ぶために現代のニューラルネットワークを制限する。
サブモジュール情報対策は、特徴クラスタ間の多様性と協力を同時にモデル化できる特性を示す。
既存の対照的な学習アプローチは、サブモジュラーであるか、あるいは、サブモジュラーなアプローチを作成するために再形式化することができる。
- 参考スコア(独自算出の注目度): 6.294884163829946
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation Learning in real-world class-imbalanced settings has emerged
as a challenging task in the evolution of deep learning. Lack of diversity in
visual and structural features for rare classes restricts modern neural
networks to learn discriminative feature clusters. This manifests in the form
of large inter-class bias between rare object classes and elevated intra-class
variance among abundant classes in the dataset. Although deep metric learning
approaches have shown promise in this domain, significant improvements need to
be made to overcome the challenges associated with class-imbalance in mission
critical tasks like autonomous navigation and medical diagnostics. Set-based
combinatorial functions like Submodular Information Measures exhibit properties
that allow them to simultaneously model diversity and cooperation among feature
clusters. In this paper, we introduce the SCoRe (Submodular Combinatorial
Representation Learning) framework and propose a family of Submodular
Combinatorial Loss functions to overcome these pitfalls in contrastive
learning. We also show that existing contrastive learning approaches are either
submodular or can be re-formulated to create their submodular counterparts. We
conduct experiments on the newly introduced family of combinatorial objectives
on two image classification benchmarks - pathologically imbalanced CIFAR-10,
subsets of MedMNIST and a real-world road object detection benchmark - India
Driving Dataset (IDD). Our experiments clearly show that the newly introduced
objectives like Facility Location, Graph-Cut and Log Determinant outperform
state-of-the-art metric learners by up to 7.6% for the imbalanced
classification tasks and up to 19.4% for object detection tasks.
- Abstract(参考訳): 実世界のクラス不均衡設定における表現学習は、ディープラーニングの進化において難しい課題として現れてきた。
希少クラスの視覚的特徴と構造的特徴の多様性の欠如は、差別的特徴クラスタを学ぶために現代のニューラルネットワークを制限する。
これは、レアオブジェクトクラス間のクラス間の大きなバイアスと、データセット内の豊富なクラス間のクラス内分散の増加という形で現れます。
ディープメトリック学習のアプローチはこの領域で約束されているが、自律的なナビゲーションや医療診断といったミッションクリティカルなタスクのクラス不均衡に関連する課題を克服するために、大幅な改善が必要となる。
サブモジュール情報測度のようなセットベースの組合せ関数は、特徴クラスタ間の多様性と協調を同時にモデル化できる特性を示す。
本稿では,SCoRe(Submodular Combinatorial Representation Learning)フレームワークを導入し,これらの落とし穴を克服するサブモジュール型 Combinatorial Loss関数群を提案する。
また、既存のコントラスト学習アプローチは、サブモジュラーか、あるいはサブモジュラーに対応するために再形式化可能であることも示します。
CIFAR-10, MedMNIST のサブセット, 実世界の道路物体検出ベンチマーク - India Driving Dataset (IDD) の2つの画像分類ベンチマークにおいて, 新たに導入された組合せ目的のファミリーについて実験を行った。
実験の結果,施設配置,グラフキュート,ログ決定といった新たな目的が,非バランスな分類タスクでは最大7.6%,オブジェクト検出タスクでは最大19.4%,最先端のメトリクス学習者では最大7.6%向上したことが明らかとなった。
関連論文リスト
- Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳(メタデータ) (2024-03-03T15:53:48Z) - Class Distribution Shifts in Zero-Shot Learning: Learning Robust
Representations [4.605037293860087]
ゼロショット学習におけるロバスト表現の学習アルゴリズムを提案する。
提案手法は,シミュレーションと実世界のデータセットの両方において,多様なクラス分布への一般化を著しく改善することを示す。
論文 参考訳(メタデータ) (2023-11-30T14:14:31Z) - Dual Path Structural Contrastive Embeddings for Learning Novel Objects [6.979491536753043]
近年の研究では、優れた特徴空間の情報を取得することが、少数のタスクにおいて良好なパフォーマンスを達成するための効果的な解決法であることが示されている。
特徴表現と分類器を学習するタスクを分離する,単純だが効果的なパラダイムを提案する。
提案手法は, インダクティブ推論とトランスダクティブ推論のいずれにおいても, 標準および一般化された少数ショット問題に対して有望な結果が得られる。
論文 参考訳(メタデータ) (2021-12-23T04:43:31Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。
我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。
広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文 参考訳(メタデータ) (2021-08-23T09:31:18Z) - BCFNet: A Balanced Collaborative Filtering Network with Attention
Mechanism [106.43103176833371]
協調フィルタリング(CF)ベースの推奨方法が広く研究されている。
BCFNet(Balanced Collaborative Filtering Network)という新しい推薦モデルを提案する。
さらに注意機構は、暗黙のフィードバックの中で隠れた情報をよりよく捉え、ニューラルネットワークの学習能力を強化するように設計されている。
論文 参考訳(メタデータ) (2021-03-10T14:59:23Z) - Analyzing Overfitting under Class Imbalance in Neural Networks for Image
Segmentation [19.259574003403998]
画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。
本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
論文 参考訳(メタデータ) (2021-02-20T14:57:58Z) - Learning Robust Representation for Clustering through Locality
Preserving Variational Discriminative Network [16.259673823482665]
Variational Deep Embeddingは、さまざまなクラスタリングタスクで大きな成功を収めます。
VaDEは,1)入力ノイズに弱い,2)隣接するデータポイント間の局所性情報を無視する,という2つの問題に悩まされている。
強固な埋め込み判別器と局所構造制約によりvadeを改善する共同学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-25T02:31:55Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳(メタデータ) (2020-05-08T01:59:23Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳(メタデータ) (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。