論文の概要: Disentangled Generation with Information Bottleneck for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2211.16185v1
• Date: Tue, 29 Nov 2022 13:29:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 16:41:28.036875
• Title: Disentangled Generation with Information Bottleneck for Few-Shot Learning
• Title（参考訳）: 情報ボトルネックを用いた小数点学習のための絡み合った生成
• Authors: Zhuohang Dang, Jihong Wang, Minnan Luo, Chengyou Jia, Caixia Yan, Qinghua Zheng
• Abstract要約: サンプルがほとんどない未確認のクラスを分類することを目的とした、ほとんどショット学習は、データの不足のため、難しい。 我々は,新しい情報ボトルネック(IB)ベースのディスタングル生成フレームワーク(DisGenIB)を提案する。 DisGenIBは、生成されたサンプルの識別と多様性を同時に保証することができる。
• 参考スコア（独自算出の注目度）: 21.131911207010376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot learning (FSL), which aims to classify unseen classes with few samples, is challenging due to data scarcity. Although various generative methods have been explored for FSL, the entangled generation process of these methods exacerbates the distribution shift in FSL, thus greatly limiting the quality of generated samples. To these challenges, we propose a novel Information Bottleneck (IB) based Disentangled Generation Framework for FSL, termed as DisGenIB, that can simultaneously guarantee the discrimination and diversity of generated samples. Specifically, we formulate a novel framework with information bottleneck that applies for both disentangled representation learning and sample generation. Different from existing IB-based methods that can hardly exploit priors, we demonstrate our DisGenIB can effectively utilize priors to further facilitate disentanglement. We further prove in theory that some previous generative and disentanglement methods are special cases of our DisGenIB, which demonstrates the generality of the proposed DisGenIB. Extensive experiments on challenging FSL benchmarks confirm the effectiveness and superiority of DisGenIB, together with the validity of our theoretical analyses. Our codes will be open-source upon acceptance.
• Abstract（参考訳）: サンプルの少ない未確認クラスを分類することを目的としたFew-shot Learning(FSL)は、データ不足のため難しい。 FSLの様々な生成法が検討されているが、これらの手法の絡み合った生成過程はFSLの分布シフトを悪化させ、生成した試料の品質を著しく制限する。 これらの課題に対して、我々は、生成したサンプルの識別と多様性を同時に保証できる新しい情報ボトルネック(IB)ベースのFSL用ディスタングル生成フレームワーク(DisGenIB)を提案する。 具体的には,異種表現学習とサンプル生成の両方に適用可能な情報ボトルネックを持つ新しい枠組みを定式化する。 従来のISBベースの手法と異なり、DisGenIBは事前の活用を効果的に行え、さらに混乱を促進することができる。 さらに,提案した DisGenIB の一般性を示す DisGenIB の特殊事例として,従来の生成的・非絡合的手法が有効であることを示す。 挑戦的なFSLベンチマークに関する大規模な実験は、我々の理論解析の有効性とともに、DisGenIBの有効性と優位性を確認した。 私たちのコードは受け入れ次第オープンソースになります。

関連論文リスト

• Dirichlet-Based Coarse-to-Fine Example Selection For Open-Set Annotation [37.33424244520009]
  本稿では,ディリクレに基づく大まかな実例選択(DCFS)戦略を提案する。 本手法では, 翻訳の不変性を損なうために, 単純なx-based obviousial Deep Learning (EDL)を導入している。 様々なオープンネス比データセットの実験は、DCFSが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-09-26T07:47:50Z)
• Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning [37.54523122932728]
  大規模言語モデル(LLM)を用いたパイプラインベースのデータ拡張手法を提案する。 データ多様性の低い問題に対処するため、私たちのパイプラインは知識グラフ(KG)を使用してエンティティや量を取り出す。 高いデータノイズに対処するため、GCSEモデルは偽硬陰性サンプルの影響を制限するためにガウス分解関数を使用する。
  論文  参考訳（メタデータ） (2024-09-19T16:29:58Z)
• Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
  拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。 また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T20:59:18Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
  オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。 CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。 複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-12T06:23:49Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。