論文の概要: Towards Understanding Why FixMatch Generalizes Better Than Supervised Learning

• arxiv url: http://arxiv.org/abs/2410.11206v1
• Date: Tue, 15 Oct 2024 02:47:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:40.160303
• Title: Towards Understanding Why FixMatch Generalizes Better Than Supervised Learning
• Title（参考訳）: FixMatchが教師付き学習より一般化する理由の理解に向けて
• Authors: Jingyang Li, Jiachun Pan, Vincent Y. F. Tan, Kim-Chuan Toh, Pan Zhou,
• Abstract要約: 半教師付き学習(SSL)は、教師付き学習(SL)よりも大幅に一般化されている。 ディープニューラルネットワーク(DNN)に適用したFixMatchライクSSLで観測されたテスト精度向上のための最初の理論的正当性を示す。 分析フレームワークはFlexMatch、FreeMatch、Dash、SoftMatchといった他のFixMatchライクなSSLメソッドにも適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 97.1805039692731
• License:
• Abstract: Semi-supervised learning (SSL), exemplified by FixMatch (Sohn et al., 2020), has shown significant generalization advantages over supervised learning (SL), particularly in the context of deep neural networks (DNNs). However, it is still unclear, from a theoretical standpoint, why FixMatch-like SSL algorithms generalize better than SL on DNNs. In this work, we present the first theoretical justification for the enhanced test accuracy observed in FixMatch-like SSL applied to DNNs by taking convolutional neural networks (CNNs) on classification tasks as an example. Our theoretical analysis reveals that the semantic feature learning processes in FixMatch and SL are rather different. In particular, FixMatch learns all the discriminative features of each semantic class, while SL only randomly captures a subset of features due to the well-known lottery ticket hypothesis. Furthermore, we show that our analysis framework can be applied to other FixMatch-like SSL methods, e.g., FlexMatch, FreeMatch, Dash, and SoftMatch. Inspired by our theoretical analysis, we develop an improved variant of FixMatch, termed Semantic-Aware FixMatch (SA-FixMatch). Experimental results corroborate our theoretical findings and the enhanced generalization capability of SA-FixMatch.
• Abstract（参考訳）: FixMatch(Sohn et al , 2020)で実証された半教師付き学習(SSL)は、特にディープニューラルネットワーク(DNN)の文脈において、教師付き学習(SL)よりも大幅に一般化された利点を示している。 しかし、理論的には、なぜFixMatchのようなSSLアルゴリズムがDNN上のSLよりも一般化されているのかは不明である。 本研究では、DNNに適用されたFixMatchライクなSSLにおいて、分類タスクに畳み込みニューラルネットワーク(CNN)を例に、最初の理論的正当性を示す。 理論的解析により,FixMatch と SL のセマンティックな特徴学習プロセスは,かなり異なることが明らかとなった。 特に、FixMatchは各セマンティッククラスのすべての識別的特徴を学習し、SLはよく知られた宝くじの仮説のために、機能のサブセットをランダムにキャプチャするのみである。 さらに、我々の分析フレームワークは、例えば、FlexMatch、FreeMatch、Dash、SoftMatchといった他のFixMatchライクなSSLメソッドにも適用可能であることを示す。 理論解析に触発されて,Semantic-Aware FixMatch (SA-FixMatch) と呼ばれる改良版 FixMatch を開発した。 実験結果は,SA-FixMatchの理論的知見と一般化能力の強化を裏付けるものである。

関連論文リスト

• AstMatch: Adversarial Self-training Consistency Framework for Semi-Supervised Medical Image Segmentation [19.80612796391153]
  半教師付き学習(SSL)は,医用画像のセグメンテーションにおいて有意な可能性を示唆している。 本研究では,対戦型自己学習一貫性フレームワーク(AstMatch)を提案する。 提案されたAstMatchは、3つの公開データセット上の最先端SSLメソッドで広く評価されている。
  論文  参考訳（メタデータ） (2024-06-28T04:38:12Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Flaky Performances when Pretraining on Relational Databases [20.840010074776544]
  関係データベース(RDB)から抽出したサブグラフに基づいて学習したグラフニューラルネットワーク(GNN)自己教師型学習(SSL)手法のダウンストリームタスク性能について検討する。 対照的なSSLテクニックをネーティブに移植することは、ネガティブな転送を引き起こす可能性がある」。 対照的なSSLはGNNのメッセージパッシング層と矛盾するという予想に基づいて、ノードの初期層と最終層の表現間の相互情報の最大化を目的とした、対比的な損失であるInfoNodeを提案する。
  論文  参考訳（メタデータ） (2022-11-09T21:50:41Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)
• FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。 本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。 筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。