論文の概要: Supercharging Imbalanced Data Learning With Energy-based Contrastive
Representation Transfer
- arxiv url: http://arxiv.org/abs/2011.12454v4
- Date: Fri, 19 Nov 2021 07:15:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 02:45:30.278492
- Title: Supercharging Imbalanced Data Learning With Energy-based Contrastive
Representation Transfer
- Title(参考訳): エネルギーベースコントラスト表現転送を用いた重ね合わせ不均衡データ学習
- Authors: Zidi Xiu, Junya Chen, Ricardo Henao, Benjamin Goldstein, Lawrence
Carin, Chenyang Tao
- Abstract要約: コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。
本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。
これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
- 参考スコア(独自算出の注目度): 72.5190560787569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dealing with severe class imbalance poses a major challenge for real-world
applications, especially when the accurate classification and generalization of
minority classes is of primary interest. In computer vision, learning from long
tailed datasets is a recurring theme, especially for natural image datasets.
While existing solutions mostly appeal to sampling or weighting adjustments to
alleviate the pathological imbalance, or imposing inductive bias to prioritize
non-spurious associations, we take novel perspectives to promote sample
efficiency and model generalization based on the invariance principles of
causality. Our proposal posits a meta-distributional scenario, where the data
generating mechanism is invariant across the label-conditional feature
distributions. Such causal assumption enables efficient knowledge transfer from
the dominant classes to their under-represented counterparts, even if the
respective feature distributions show apparent disparities. This allows us to
leverage a causal data inflation procedure to enlarge the representation of
minority classes. Our development is orthogonal to the existing extreme
classification techniques thus can be seamlessly integrated. The utility of our
proposal is validated with an extensive set of synthetic and real-world
computer vision tasks against SOTA solutions.
- Abstract(参考訳): 特にマイノリティクラスの正確な分類と一般化が主な関心事である場合、厳しいクラス不均衡に対処することは現実のアプリケーションにとって大きな課題となる。
コンピュータビジョンでは、ロングテールデータセットからの学習は、特に自然画像データセットの繰り返しテーマである。
既存の解は, 病的不均衡を緩和するためのサンプリングや重み付け調整, または非純正な関係を優先するために帰納的バイアスを課すことに主眼を置いているが, 因果関係の不分散原理に基づくサンプル効率とモデル一般化を促進するために, 新たな視点を取り入れた。
本稿では,データ生成機構がラベル条件特徴分布に不変であるメタ分散シナリオを提案する。
このような因果的仮定は、たとえ各特徴分布が明らかな相違を示したとしても、支配階級から非表現階級への効率的な知識伝達を可能にする。
これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
我々の開発は既存の極端な分類手法と直交しており、シームレスに統合できる。
この提案の有用性は、somaソリューションに対する合成および実世界のコンピュータビジョンタスクの広範なセットで検証される。
関連論文リスト
- Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳(メタデータ) (2023-10-14T13:56:24Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳(メタデータ) (2023-08-28T18:48:34Z) - Stabilizing and Improving Federated Learning with Non-IID Data and
Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。
クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。
非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文 参考訳(メタデータ) (2023-03-11T05:17:59Z) - Inversion dynamics of class manifolds in deep learning reveals tradeoffs
underlying generalisation [0.0]
非単調な傾向と対立する傾向のバランスをとる表現を最適化力学がいかに見つけるかを示す数値実験について報告する。
インバージョンでのトレーニングエラーはサブサンプリングの下で安定しており、ネットワークの初期化やオプティマイザを越えて、データ構造と(非常に弱い)アーキテクチャのプロパティとして特徴付けられる。
論文 参考訳(メタデータ) (2023-03-09T10:35:40Z) - Balancing Discriminability and Transferability for Source-Free Domain
Adaptation [55.143687986324935]
従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。
ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。
そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
論文 参考訳(メタデータ) (2022-06-16T09:06:22Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳(メタデータ) (2022-05-31T16:27:57Z) - Generalizable Information Theoretic Causal Representation [37.54158138447033]
本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。
この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
論文 参考訳(メタデータ) (2022-02-17T00:38:35Z) - Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。
特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。
次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文 参考訳(メタデータ) (2021-08-06T05:20:46Z) - Improving Fairness of AI Systems with Lossless De-biasing [15.039284892391565]
AIシステムのバイアスを緩和して全体的な公正性を高めることが重要な課題となっている。
我々は,不利益グループにおけるデータの不足を対象とする情報損失のない脱バイアス手法を提案する。
論文 参考訳(メタデータ) (2021-05-10T17:38:38Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。