論文の概要: Mutual-Information Based Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2106.12252v1
• Date: Wed, 23 Jun 2021 09:17:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 15:21:38.275835
• Title: Mutual-Information Based Few-Shot Classification
• Title（参考訳）: 相互情報に基づくFew-Shot分類
• Authors: Malik Boudiaf, Ziko Imtiaz Masud, J\'er\^ome Rony, Jose Dolz, Ismail Ben Ayed, Pablo Piantanida
• Abstract要約: 数ショット学習のためのTIM(Transductive Infomation Maximization)を提案する。 提案手法は,与えられた数発のタスクに対して,クエリ特徴とラベル予測との相互情報を最大化する。 そこで我々は,勾配に基づく最適化よりもトランスダクティブ推論を高速化する交代方向解法を提案する。
• 参考スコア（独自算出の注目度）: 34.95314059362982
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce Transductive Infomation Maximization (TIM) for few-shot learning. Our method maximizes the mutual information between the query features and their label predictions for a given few-shot task, in conjunction with a supervision loss based on the support set. We motivate our transductive loss by deriving a formal relation between the classification accuracy and mutual-information maximization. Furthermore, we propose a new alternating-direction solver, which substantially speeds up transductive inference over gradient-based optimization, while yielding competitive accuracy. We also provide a convergence analysis of our solver based on Zangwill's theory and bound-optimization arguments. TIM inference is modular: it can be used on top of any base-training feature extractor. Following standard transductive few-shot settings, our comprehensive experiments demonstrate that TIM outperforms state-of-the-art methods significantly across various datasets and networks, while used on top of a fixed feature extractor trained with simple cross-entropy on the base classes, without resorting to complex meta-learning schemes. It consistently brings between 2 % and 5 % improvement in accuracy over the best performing method, not only on all the well-established few-shot benchmarks but also on more challenging scenarios, with random tasks, domain shift and larger numbers of classes, as in the recently introduced META-DATASET. Our code is publicly available at https://github.com/mboudiaf/TIM. We also publicly release a standalone PyTorch implementation of META-DATASET, along with additional benchmarking results, at https://github.com/mboudiaf/pytorch-meta-dataset.
• Abstract（参考訳）: 数ショット学習のためのTIM(Transductive Infomation Maximization)を提案する。 提案手法は,クエリ特徴とラベル予測との相互情報を最大化し,その支援セットに基づく監督損失を付与する。 我々は, 分類精度と相互情報最大化の形式的関係を導出することにより, トランスダクティブ損失の動機付けを行う。 さらに、勾配に基づく最適化よりもトランスダクティブ推論を大幅に高速化し、競争精度を向上する新しい交互方向解法を提案する。 また、Zangwillの理論と有界最適化論に基づく解の収束解析も提供する。 TIM推論はモジュラーであり、任意のベーストレーニング機能抽出器上で使用することができる。 TIMは様々なデータセットやネットワークにまたがる最先端の手法よりも優れており、複雑なメタ学習手法を使わずに、ベースクラス上で単純なクロスエントロピーで訓練された固定された特徴抽出器上で使用されている。 最近発表されたMETA-DATASETのようなランダムなタスク、ドメインシフト、より大きなクラス数を含む、より困難なシナリオでも、優れたパフォーマンスのメソッドよりも、一貫して2%から5%の精度の向上を実現している。 私たちのコードはhttps://github.com/mboudiaf/TIMで公開されています。 また、META-DATASETのスタンドアロンPyTorch実装とベンチマーク結果もhttps://github.com/mboudiaf/pytorch-meta-datasetで公開しています。

関連論文リスト

• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Okapi: Generalising Better by Making Statistical Matches Match [7.392460712829188]
  オカピは、オンライン統計マッチングに基づく頑健な半教師あり学習のためのシンプルで効率的で汎用的な方法である。 提案手法では, 最寄りのマッチング手法を用いて, 整合性損失に対するクロスドメインビューを生成する。 経験的リスクの最小化を改善するために、余分な遅延のないデータを活用することは実際に可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-07T12:41:17Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Transductive Information Maximization For Few-Shot Learning [41.461586994394565]
  数ショット学習のためのTIM(Transductive Infomation Maximization)を提案する。 提案手法は,与えられた数発のタスクに対して,クエリ特徴とラベル予測との相互情報を最大化する。 相互情報損失に対する新たな交互方向解法を提案する。
  論文  参考訳（メタデータ） (2020-08-25T22:38:41Z)
• Laplacian Regularized Few-Shot Learning [35.381119443377195]
  少数ショットタスクに対するラプラシアン正規化推論を提案する。 私たちの推論はベースモデルを再トレーニングするものではなく、クエリセットのグラフクラスタリングとして見ることができます。 我々のLaplacianShotは、異なるモデル間で大きなマージンで最先端の手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2020-06-28T02:17:52Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。