論文の概要: Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations

• arxiv url: http://arxiv.org/abs/2311.18575v2
• Date: Mon, 12 Feb 2024 16:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 21:32:22.296530
• Title: Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations
• Title（参考訳）: ゼロショット学習におけるクラス分布シフト:ロバスト表現の学習
• Authors: Yuli Slavutsky and Yuval Benjamini
• Abstract要約: ゼロショット学習におけるロバスト表現の学習アルゴリズムを提案する。 提案手法は,シミュレーションと実世界のデータセットの両方において,多様なクラス分布への一般化を著しく改善することを示す。
• 参考スコア（独自算出の注目度）: 4.605037293860087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class distribution shifts are particularly challenging for zero-shot classifiers, which rely on representations learned from training classes but are deployed on new, unseen ones. Common causes for such shifts are changes in attributes associated with classes, such as race or gender in person identification. In this work, we propose and analyze a model that adopts this setting, assuming that the attribute responsible for the shift is unknown during training. To address the challenge of learning data representations robust to such shifts, we introduce a framework based on hierarchical sampling to construct synthetic data environments. Despite key differences between the settings, this framework allows us to formulate class distribution shifts in zero-shot learning as out-of-distribution problems. Consequently, we present an algorithm for learning robust representations, and show that our approach significantly improves generalization to diverse class distributions in both simulations and real-world datasets.
• Abstract（参考訳）: クラス分散シフトは、トレーニングクラスから学んだ表現に依存するが、目に見えない新しい表現にデプロイされるゼロショット分類器では特に難しい。 このようなシフトの一般的な原因は、個人識別における人種や性別などのクラスに関連する属性の変化である。 本研究では,この設定を採用するモデルの提案と分析を行い,その変更の要因がトレーニング中に未知であると仮定する。 このような変化に頑健なデータ表現の学習の課題に対処するために,階層的サンプリングに基づくフレームワークを導入し,合成データ環境を構築する。 このフレームワークによって,ゼロショット学習におけるクラス分散シフトを,分散問題として定式化することが可能になります。 そこで本研究では,ロバスト表現を学習するためのアルゴリズムを提案し,シミュレーションと実世界のデータセットの両方において,多様なクラス分布への一般化を著しく改善することを示す。

関連論文リスト

• Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
  FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。 インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。 最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
  論文  参考訳（メタデータ） (2024-11-02T08:03:04Z)
• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
  ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-21T03:39:04Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Learning from Heterogeneous Data Based on Social Interactions over Graphs [58.34060409467834]
  本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
  論文  参考訳（メタデータ） (2021-12-17T12:47:18Z)
• Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
  本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。 2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。 具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
  論文  参考訳（メタデータ） (2021-10-14T14:39:39Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Robust Generalization despite Distribution Shift via Minimum Discriminating Information [46.164498176119665]
  我々は、トレーニングデータに加えて、シフトしたテスト分布に関する部分的な構造的知識を持つモデリングフレームワークを導入する。 我々は、利用可能な事前知識を埋め込むために、最小限の識別情報の原則を用いる。 未知のシフト分布に関する明示的な一般化境界を得る。
  論文  参考訳（メタデータ） (2021-06-08T15:25:35Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。