論文の概要: SCoRe: Submodular Combinatorial Representation Learning

• arxiv url: http://arxiv.org/abs/2310.00165v2
• Date: Thu, 6 Jun 2024 06:33:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:39:36.735825
• Title: SCoRe: Submodular Combinatorial Representation Learning
• Title（参考訳）: SCoRe: submodular Combinatorial Representation Learning
• Authors: Anay Majee, Suraj Kothawade, Krishnateja Killamsetty, Rishabh Iyer,
• Abstract要約: 本稿では,表現学習の新しいアプローチであるSCoRe(Submodular Combinatorial Representation)フレームワークを紹介する。 SCoReは、集合に基づくサブモジュラー情報測度に基づく損失関数の族を導入することで、表現学習の新しい視点を提供する。
• 参考スコア（独自算出の注目度）: 12.874523233023453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we introduce the SCoRe (Submodular Combinatorial Representation Learning) framework, a novel approach in representation learning that addresses inter-class bias and intra-class variance. SCoRe provides a new combinatorial viewpoint to representation learning, by introducing a family of loss functions based on set-based submodular information measures. We develop two novel combinatorial formulations for loss functions, using the Total Information and Total Correlation, that naturally minimize intra-class variance and inter-class bias. Several commonly used metric/contrastive learning loss functions like supervised contrastive loss, orthogonal projection loss, and N-pairs loss, are all instances of SCoRe, thereby underlining the versatility and applicability of SCoRe in a broad spectrum of learning scenarios. Novel objectives in SCoRe naturally model class-imbalance with up to 7.6\% improvement in classification on CIFAR-10-LT, CIFAR-100-LT, MedMNIST, 2.1% on ImageNet-LT, and 19.4% in object detection on IDD and LVIS (v1.0), demonstrating its effectiveness over existing approaches.
• Abstract（参考訳）: 本稿では,クラス間バイアスとクラス内分散に対処する表現学習の新たなアプローチとして,SCoRe(Submodular Combinatorial Representation Learning)フレームワークを提案する。 SCoReは、集合に基づくサブモジュラー情報測度に基づく損失関数の族を導入することにより、表現学習に新たな組合せ的視点を提供する。 我々は,クラス内分散とクラス間バイアスを自然に最小化する,トータル情報とトータル相関を用いて,損失関数に対する2つの新しい組合せ式を開発した。 教師付きコントラスト損失、直交射影損失、Nペア損失など、よく使われるメトリック/コントラスト学習損失関数は、すべてSCoReの例である。 SCoReの新たな目的は、CIFAR-10-LT、CIFAR-100-LT、MedMNIST、ImageNet-LTの2.1%、IDDとLVIS(v1.0)のオブジェクト検出の19.4%の分類を最大7.6%改善したクラスバランスを自然にモデル化することである。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Continual Contrastive Finetuning Improves Low-Resource Relation Extraction [34.76128090845668]
  関係抽出は低リソースのシナリオやドメインでは特に困難である。 近年の文献は自己教師型学習によって低リソースREに取り組みつつある。 コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
  論文  参考訳（メタデータ） (2022-12-21T07:30:22Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• ScatSimCLR: self-supervised contrastive learning with pretext task regularization for small-scale datasets [5.2424255020469595]
  データの複数ビュー間の対照的な損失に基づく小規模データセットに対する自己教師型学習の課題について考察する。 同じ分類精度を維持しつつ,システム全体のパラメータ数やビュー数を大幅に削減できると主張している。
  論文  参考訳（メタデータ） (2021-08-31T15:58:45Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Interpolation-based semi-supervised learning for object detection [44.37685664440632]
  オブジェクト検出のための補間に基づく半教師付き学習手法を提案する。 提案した損失は、半教師付き学習と教師付き学習の性能を劇的に向上させる。
  論文  参考訳（メタデータ） (2020-06-03T10:53:44Z)
• FairNN- Conjoint Learning of Fair Representations for Fair Decisions [40.05268461544044]
  フェアネス認識学習のための結合特徴表現と分類を行うニューラルネットワークであるFairNNを提案する。 各種データセットに対する実験により,表現学習や教師あり学習における不公平性の分離処理よりも,このような共同アプローチの方が優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-05T12:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。