Fugu-MT 論文翻訳(概要): Feature Space Renormalization for Semi-supervised Learning

論文の概要: Feature Space Renormalization for Semi-supervised Learning

arxiv url: http://arxiv.org/abs/2311.04055v1
Date: Tue, 7 Nov 2023 15:07:02 GMT
ステータス: 処理完了
システム内更新日: 2023-11-08 14:55:52.417636
Title: Feature Space Renormalization for Semi-supervised Learning
Title（参考訳）: 半教師付き学習のための特徴空間の正規化
Authors: Jun Sun, Zhongjie Mao, Chao Li, Chao Zhou, Xiao-Jun Wu
Abstract要約: 半教師付き学習(SSL)は、非競合データを活用する強力な手法であることが証明されている。本稿では,SSLのための機能空間再正規化(FSR)機構を提案する。本手法は,標準SSLベンチマークの各種データセットにおいて,より優れた性能を実現することができることを示す。
参考スコア（独自算出の注目度）: 11.83643978312292
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Semi-supervised learning (SSL) has been proven to be a powerful method for leveraging unlabelled data to alleviate models' dependence on large labelled datasets. The common framework among recent approaches is to train the model on a large amount of unlabelled data with consistency regularization to constrain the model predictions to be invariant to input perturbation. However, the existing SSL frameworks still have room for improvement in the consistency regularization method. Instead of regularizing category predictions in the label space as in existing frameworks, this paper proposes a feature space renormalization (FSR) mechanism for SSL. First, we propose a feature space renormalization mechanism to substitute for the commonly used consistency regularization mechanism to learn better discriminative features. To apply this mechanism, we start by building a basic model and an empirical model and then introduce our mechanism to renormalize the feature learning of the basic model with the guidance of the empirical model. Second, we combine the proposed mechanism with pseudo-labelling to obtain a novel effective SSL model named FreMatch. The experimental results show that our method can achieve better performance on a variety of standard SSL benchmark datasets, and the proposed feature space renormalization mechanism can also enhance the performance of other SSL approaches.
Abstract（参考訳）: 半教師付き学習(ssl)は、ラベルなしのデータを利用して大きなラベル付きデータセットへのモデルの依存を緩和する強力な方法であることが証明されている。最近のアプローチの共通する枠組みは、入力摂動に不変となるモデル予測を制約するために、一貫性の規則化を伴う大量の非競合データでモデルを訓練することである。しかし、既存のSSLフレームワークには、一貫性の正規化方法を改善する余地がある。本稿では,既存のフレームワークのようにラベル空間のカテゴリ予測を正規化する代わりに,SSLの機能空間再正規化(FSR)機構を提案する。まず、よく使われる整合性正規化機構の代わりに、より優れた識別的特徴を学習するための特徴空間再正規化機構を提案する。このメカニズムを適用するために、まず基礎モデルと経験モデルを構築し、経験モデルのガイダンスを用いて基礎モデルの特徴学習を正規化するためのメカニズムを導入する。第二に、提案機構と擬似ラベリングを組み合わせて、FreMatchという新しい有効SSLモデルを得る。実験の結果,提案手法はさまざまな標準SSLベンチマークデータセットの性能向上を実現し,提案手法は他のSSL手法の性能向上にも寄与することがわかった。

関連論文リスト

High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2024-09-10T08:04:11Z)
Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data [8.619243141968886]
条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
論文参考訳（メタデータ） (2024-06-20T00:34:54Z)
GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文参考訳（メタデータ） (2024-04-14T01:51:11Z)
Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文参考訳（メタデータ） (2023-12-13T09:32:50Z)
Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文参考訳（メタデータ） (2023-09-09T01:57:14Z)
Mixed Semi-Supervised Generalized-Linear-Regression with applications to Deep-Learning and Interpolators [6.537685198688539]
本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
論文参考訳（メタデータ） (2023-02-19T09:55:18Z)
Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
論文参考訳（メタデータ） (2022-12-23T15:46:23Z)
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文参考訳（メタデータ） (2022-11-14T13:59:50Z)
When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文参考訳（メタデータ） (2022-10-15T17:57:43Z)
How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文参考訳（メタデータ） (2022-06-17T16:18:28Z)
Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。