論文の概要: Disentangled Generation with Information Bottleneck for Few-Shot
Learning
- arxiv url: http://arxiv.org/abs/2211.16185v1
- Date: Tue, 29 Nov 2022 13:29:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 16:41:28.036875
- Title: Disentangled Generation with Information Bottleneck for Few-Shot
Learning
- Title(参考訳): 情報ボトルネックを用いた小数点学習のための絡み合った生成
- Authors: Zhuohang Dang, Jihong Wang, Minnan Luo, Chengyou Jia, Caixia Yan,
Qinghua Zheng
- Abstract要約: サンプルがほとんどない未確認のクラスを分類することを目的とした、ほとんどショット学習は、データの不足のため、難しい。
我々は,新しい情報ボトルネック(IB)ベースのディスタングル生成フレームワーク(DisGenIB)を提案する。
DisGenIBは、生成されたサンプルの識別と多様性を同時に保証することができる。
- 参考スコア(独自算出の注目度): 21.131911207010376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning (FSL), which aims to classify unseen classes with few
samples, is challenging due to data scarcity. Although various generative
methods have been explored for FSL, the entangled generation process of these
methods exacerbates the distribution shift in FSL, thus greatly limiting the
quality of generated samples. To these challenges, we propose a novel
Information Bottleneck (IB) based Disentangled Generation Framework for FSL,
termed as DisGenIB, that can simultaneously guarantee the discrimination and
diversity of generated samples. Specifically, we formulate a novel framework
with information bottleneck that applies for both disentangled representation
learning and sample generation. Different from existing IB-based methods that
can hardly exploit priors, we demonstrate our DisGenIB can effectively utilize
priors to further facilitate disentanglement. We further prove in theory that
some previous generative and disentanglement methods are special cases of our
DisGenIB, which demonstrates the generality of the proposed DisGenIB. Extensive
experiments on challenging FSL benchmarks confirm the effectiveness and
superiority of DisGenIB, together with the validity of our theoretical
analyses. Our codes will be open-source upon acceptance.
- Abstract(参考訳): サンプルの少ない未確認クラスを分類することを目的としたFew-shot Learning(FSL)は、データ不足のため難しい。
FSLの様々な生成法が検討されているが、これらの手法の絡み合った生成過程はFSLの分布シフトを悪化させ、生成した試料の品質を著しく制限する。
これらの課題に対して、我々は、生成したサンプルの識別と多様性を同時に保証できる新しい情報ボトルネック(IB)ベースのFSL用ディスタングル生成フレームワーク(DisGenIB)を提案する。
具体的には,異種表現学習とサンプル生成の両方に適用可能な情報ボトルネックを持つ新しい枠組みを定式化する。
従来のISBベースの手法と異なり、DisGenIBは事前の活用を効果的に行え、さらに混乱を促進することができる。
さらに,提案した DisGenIB の一般性を示す DisGenIB の特殊事例として,従来の生成的・非絡合的手法が有効であることを示す。
挑戦的なFSLベンチマークに関する大規模な実験は、我々の理論解析の有効性とともに、DisGenIBの有効性と優位性を確認した。
私たちのコードは受け入れ次第オープンソースになります。
関連論文リスト
- BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳(メタデータ) (2024-02-04T10:52:43Z) - Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。
我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
論文 参考訳(メタデータ) (2023-10-22T04:06:44Z) - Unleash Data Generation for Efficient and Effective Data-free Knowledge
Distillation [42.435293471992274]
Data-Free Knowledge Distillation (DFKD)は、教師のニューラルネットワークから学生のニューラルネットワークに、元のデータにアクセスすることなく知識を移行するという、その基本原則によって、最近顕著な進歩を遂げた。
既存のアプローチは、本質的に意味のある情報を欠くランダムノイズ入力からサンプルを生成する際に、重大な課題に直面する。
入力から雑音層へランダムなソースを移動させる新しいノイズ層生成法 (NAYER) を提案し, 有意義なラベルテキスト埋め込み(LTE) を入力として利用する。
論文 参考訳(メタデータ) (2023-09-30T05:19:10Z) - Delving Deep into Simplicity Bias for Long-Tailed Image Recognition [26.406340693852375]
単純性バイアス(Simplicity Bias、SB)は、深層ニューラルネットワークが単純な予測パターンに依存しているが、教師付きタスクに適用した場合に複雑な特徴を無視する現象である。
本研究では,長尾画像認識におけるSBについて検討し,SBに苦しむ尾クラスがより重篤であることを示す。
不均衡データに適した自己教師付き学習(SSL)手法を提案する。
論文 参考訳(メタデータ) (2023-02-07T05:29:38Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳(メタデータ) (2022-06-07T13:28:43Z) - Non-Exhaustive Learning Using Gaussian Mixture Generative Adversarial
Networks [3.040775019394542]
我々は、新しいオンライン非排他的学習モデル、すなわち、非排他的ガウス混合生成適応ネットワーク(NE-GM-GAN)を提案する。
提案モデルでは,GANなどの深層生成モデル上での潜在表現を合成し,テストデータ中の新しいクラスのインスタンスをインクリメンタルに検出する。
論文 参考訳(メタデータ) (2021-06-28T00:20:22Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳(メタデータ) (2021-01-18T10:12:31Z) - Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。
CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。
複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2020-08-12T06:23:49Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳(メタデータ) (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。