論文の概要: MDFM: Multi-Decision Fusing Model for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2112.00690v2
• Date: Fri, 3 Dec 2021 08:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 09:10:27.136867
• Title: MDFM: Multi-Decision Fusing Model for Few-Shot Learning
• Title（参考訳）: mdfm: 単発学習のための多次元fusingモデル
• Authors: Shuai Shao, Lei Xing, Rui Xu, Weifeng Liu, Yan-Jiang Wang, Bao-Di Liu
• Abstract要約: 本稿では, モデルの有効性とロバスト性を高めるために, MDFM (Multi-Decision Fusing Model) を提案する。 提案手法を5つのベンチマークデータセットで評価し,最新技術と比較して3.4%-7.3%の大幅な改善を実現した。
• 参考スコア（独自算出の注目度）: 16.47647579893923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, researchers pay growing attention to the few-shot learning (FSL) task to address the data-scarce problem. A standard FSL framework is composed of two components: i) Pre-train. Employ the base data to generate a CNN-based feature extraction model (FEM). ii) Meta-test. Apply the trained FEM to the novel data (category is different from base data) to acquire the feature embeddings and recognize them. Although researchers have made remarkable breakthroughs in FSL, there still exists a fundamental problem. Since the trained FEM with base data usually cannot adapt to the novel class flawlessly, the novel data's feature may lead to the distribution shift problem. To address this challenge, we hypothesize that even if most of the decisions based on different FEMs are viewed as weak decisions, which are not available for all classes, they still perform decently in some specific categories. Inspired by this assumption, we propose a novel method Multi-Decision Fusing Model (MDFM), which comprehensively considers the decisions based on multiple FEMs to enhance the efficacy and robustness of the model. MDFM is a simple, flexible, non-parametric method that can directly apply to the existing FEMs. Besides, we extend the proposed MDFM to two FSL settings (i.e., supervised and semi-supervised settings). We evaluate the proposed method on five benchmark datasets and achieve significant improvements of 3.4%-7.3% compared with state-of-the-arts.
• Abstract（参考訳）: 近年、研究者はデータスカース問題に対処するために、数ショット学習(FSL)タスクに注意を払っている。 標準のFSLフレームワークは2つのコンポーネントで構成されています。 i)プリトレイン。 ベースデータを使用してCNNベースの特徴抽出モデル(FEM)を生成する。 ii)メタテスト。 トレーニングされたFEMを新しいデータ(カテゴリはベースデータとは異なる)に適用して、機能埋め込みを取得して認識する。 研究者はFSLで驚くべき突破口を作ったが、依然として根本的な問題が残っている。 基礎データを持つ訓練されたFEMは、通常、新しいクラスに完璧に適応できないため、新しいデータの特徴は分散シフト問題を引き起こす可能性がある。 この課題に対処するために、異なるFEMに基づく決定の大部分が弱い決定と見なされているとしても、すべてのクラスで利用できないが、特定のカテゴリで十分な性能を発揮すると仮定する。 この仮定にインスパイアされたMDFM(Multi-Decision Fusing Model)は,複数のFEMに基づく決定を包括的に検討し,モデルの有効性とロバスト性を向上する手法である。 MDFMは単純で柔軟な非パラメトリック法であり、既存のFEMに直接適用することができる。 さらに、提案したMDFMを2つのFSL設定(教師付きおよび半教師付き設定)に拡張する。 提案手法を5つのベンチマークデータセットで評価し,3.4%-7.3%の大幅な改善を達成した。

関連論文リスト

• Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
  クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。 データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。 本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T12:10:24Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Learning-Based Difficulty Calibration for Enhanced Membership Inference Attacks [3.470379197911889]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがモデルのトレーニングデータセットの一部であるかどうかを敵が判断することを可能にする。 低偽陽性率(FPR)におけるTPRの大幅な改善を目的としたMIAの新しいアプローチを提案する。 実験の結果,LCD-MIAは,他の困難キャリブレーションに基づくMIAと比較して,低FPRでのTPRを最大4倍改善できることがわかった。
  論文  参考訳（メタデータ） (2024-01-10T04:58:17Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• GCT: Graph Co-Training for Semi-Supervised Few-Shot Learning [46.07923908746946]
  新たなラベル予測手法である孤立グラフ学習(IGL)を提案する。 IGLでは、生データをグラフ空間にエンコードするLaplacian演算子を導入している。 第2に,マルチモーダル融合の観点から,この課題に対処するためのグラフコライニング(GCT)を提案する。
  論文  参考訳（メタデータ） (2022-03-15T09:13:35Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• MHFC: Multi-Head Feature Collaboration for Few-Shot Learning [17.699793591135904]
  少ないショットラーニングは、データスカース問題に対処することを目的としている。 本稿では,マルチヘッド特徴を統一空間に投影しようとするマルチヘッド特徴協調(MHFC)アルゴリズムを提案する。 提案手法を5つのベンチマークデータセットで評価し,最新技術と比較して2.1%-7.8%の大幅な改善を実現した。
  論文  参考訳（メタデータ） (2021-09-16T08:09:35Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。