論文の概要: MHFC: Multi-Head Feature Collaboration for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2109.07785v1
• Date: Thu, 16 Sep 2021 08:09:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-18 00:29:57.467265
• Title: MHFC: Multi-Head Feature Collaboration for Few-Shot Learning
• Title（参考訳）: MHFC:Few-Shot Learningのためのマルチヘッド機能コラボレーション
• Authors: Shuai Shao, Lei Xing, Yan Wang, Rui Xu, Chunyan Zhao, Yan-Jiang Wang, Bao-Di Liu
• Abstract要約: 少ないショットラーニングは、データスカース問題に対処することを目的としている。 本稿では,マルチヘッド特徴を統一空間に投影しようとするマルチヘッド特徴協調(MHFC)アルゴリズムを提案する。 提案手法を5つのベンチマークデータセットで評価し,最新技術と比較して2.1%-7.8%の大幅な改善を実現した。
• 参考スコア（独自算出の注目度）: 17.699793591135904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot learning (FSL) aims to address the data-scarce problem. A standard FSL framework is composed of two components: (1) Pre-train. Employ the base data to generate a CNN-based feature extraction model (FEM). (2) Meta-test. Apply the trained FEM to acquire the novel data's features and recognize them. FSL relies heavily on the design of the FEM. However, various FEMs have distinct emphases. For example, several may focus more attention on the contour information, whereas others may lay particular emphasis on the texture information. The single-head feature is only a one-sided representation of the sample. Besides the negative influence of cross-domain (e.g., the trained FEM can not adapt to the novel class flawlessly), the distribution of novel data may have a certain degree of deviation compared with the ground truth distribution, which is dubbed as distribution-shift-problem (DSP). To address the DSP, we propose Multi-Head Feature Collaboration (MHFC) algorithm, which attempts to project the multi-head features (e.g., multiple features extracted from a variety of FEMs) to a unified space and fuse them to capture more discriminative information. Typically, first, we introduce a subspace learning method to transform the multi-head features to aligned low-dimensional representations. It corrects the DSP via learning the feature with more powerful discrimination and overcomes the problem of inconsistent measurement scales from different head features. Then, we design an attention block to update combination weights for each head feature automatically. It comprehensively considers the contribution of various perspectives and further improves the discrimination of features. We evaluate the proposed method on five benchmark datasets (including cross-domain experiments) and achieve significant improvements of 2.1%-7.8% compared with state-of-the-arts.
• Abstract（参考訳）: FSL(Few-shot Learning)は、データスカース問題に対処することを目的としている。 標準のFSLフレームワークは2つのコンポーネントで構成されている。 ベースデータを使用してCNNベースの特徴抽出モデル(FEM)を生成する。 (2) メタテスト。 トレーニングされたFEMを適用して、新しいデータの特徴を取得して認識する。 FSLはFEMの設計に大きく依存している。 しかし、様々なFEMは異なる相を持つ。 例えば、輪郭情報にもっと注意を払うものもあれば、テクスチャ情報に特に注目するものもある。 シングルヘッド機能は、サンプルの片側のみの表現である。 クロスドメインの負の影響(例えば、訓練されたFEMは、新しいクラスに完璧に適応できない)に加えて、新しいデータの分布は、分布シフトプロブレム(dis distribution-shift-problem、DSP)と呼ばれる基底真理分布と比較してある程度ずれがある。 dspに対処するために,マルチヘッド機能(例えば,様々なfemから抽出された複数の特徴)を統一空間に投影し,それらを融合してより識別的な情報を取り込むマルチヘッド機能協調 (mhfc) アルゴリズムを提案する。 典型的には,多頭部特徴を低次元表現に整列させる部分空間学習法を導入する。 より強力な差別で特徴を学習することでDSPを補正し、異なる頭部特徴からの不整合測定スケールの問題を克服する。 次に、各ヘッド機能の組合せ重みを自動的に更新するアテンションブロックを設計する。 様々な視点の貢献を包括的に考慮し、特徴の識別をさらに改善する。 提案手法を5つのベンチマークデータセット(クロスドメイン実験を含む)で評価し,2.1%-7.8%の大幅な改善を達成した。

関連論文リスト

• Multi-scale Quaternion CNN and BiGRU with Cross Self-attention Feature Fusion for Fault Diagnosis of Bearing [5.3598912592106345]
  深層学習は断層診断(FD)に著しい進歩をもたらした マルチスケール畳み込み畳み込みニューラルネットワーク(MQCNN)、双方向ゲートリカレントユニット(BiG)、クロス自己注意機能融合(CSAFF)を統合した新しいFDモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:55:02Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
  そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。 オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。 また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:06:30Z)
• FF2: A Feature Fusion Two-Stream Framework for Punctuation Restoration [27.14686854704104]
  句読点復元のためのFeature Fusion two-stream framework (FF2)を提案する。 具体的には、あるストリームは、事前訓練された言語モデルを利用してセマンティック機能をキャプチャし、別の補助モジュールは、手元にある機能をキャプチャする。 追加データなしでは、人気のあるベンチマークIWSLTの実験結果はFF2が新しいSOTA性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-11-09T06:18:17Z)
• GCT: Graph Co-Training for Semi-Supervised Few-Shot Learning [46.07923908746946]
  新たなラベル予測手法である孤立グラフ学習(IGL)を提案する。 IGLでは、生データをグラフ空間にエンコードするLaplacian演算子を導入している。 第2に,マルチモーダル融合の観点から,この課題に対処するためのグラフコライニング(GCT)を提案する。
  論文  参考訳（メタデータ） (2022-03-15T09:13:35Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• MDFM: Multi-Decision Fusing Model for Few-Shot Learning [16.47647579893923]
  本稿では, モデルの有効性とロバスト性を高めるために, MDFM (Multi-Decision Fusing Model) を提案する。 提案手法を5つのベンチマークデータセットで評価し,最新技術と比較して3.4%-7.3%の大幅な改善を実現した。
  論文  参考訳（メタデータ） (2021-12-01T18:13:09Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。