論文の概要: High-Dimensional Bayesian Optimization via Semi-Supervised Learning with Optimized Unlabeled Data Sampling

• arxiv url: http://arxiv.org/abs/2305.02614v3
• Date: Sat, 3 Feb 2024 16:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 06:40:11.886161
• Title: High-Dimensional Bayesian Optimization via Semi-Supervised Learning with Optimized Unlabeled Data Sampling
• Title（参考訳）: 非ラベルデータサンプリングを最適化した半教師あり学習によるベイズ最適化
• Authors: Yuxuan Yin, Yu Wang and Peng Li
• Abstract要約: $texttTSBO$には、教師モデル、ラベルなしデータサンプルラー、学生モデルが含まれている。 学生は、教師が予測した擬似ラベルを用いて、サンプリング者が生成したラベルなしのデータロケーションを訓練する。 $texttTSBO$は、厳格なラベル付きデータ予算の下で、いくつかのグローバル最適化タスクにおいて、サンプル効率が大幅に改善されたことを示す。
• 参考スコア（独自算出の注目度）: 6.927830939687371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel semi-supervised learning approach, named Teacher-Student Bayesian Optimization ($\texttt{TSBO}$), integrating the teacher-student paradigm into BO to minimize expensive labeled data queries for the first time. $\texttt{TSBO}$ incorporates a teacher model, an unlabeled data sampler, and a student model. The student is trained on unlabeled data locations generated by the sampler, with pseudo labels predicted by the teacher. The interplay between these three components implements a unique selective regularization to the teacher in the form of student feedback. This scheme enables the teacher to predict high-quality pseudo labels, enhancing the generalization of the GP surrogate model in the search space. To fully exploit $\texttt{TSBO}$, we propose two optimized unlabeled data samplers to construct effective student feedback that well aligns with the objective of Bayesian optimization. Furthermore, we quantify and leverage the uncertainty of the teacher-student model for the provision of reliable feedback to the teacher in the presence of risky pseudo-label predictions. $\texttt{TSBO}$ demonstrates significantly improved sample-efficiency in several global optimization tasks under tight labeled data budgets.
• Abstract（参考訳）: 我々は,教師-学生のパラダイムをBOに統合し,高価なラベル付きデータクエリを最小化するために,教師-学生ベイズ最適化(\texttt{TSBO}$)という,新しい半教師付き学習手法を導入する。 $\texttt{TSBO}$には、教師モデル、ラベルなしデータサンプルラ、学生モデルが含まれている。 学生は、教師が予測した擬似ラベルを用いて、サンプリング者が生成したラベルなしのデータロケーションを訓練する。 これら3つのコンポーネント間の相互作用は、生徒のフィードバックという形で教師に対するユニークな選択的正規化を実装している。 このスキームにより,教師は高品質な擬似ラベルを予測でき,検索空間におけるGP代理モデルの一般化が促進される。 我々は,$\texttt{TSBO}$をフル活用するために,ベイズ最適化の目的とよく一致した効果的な学生フィードバックを構築するために,ラベルなしデータサンプリングを2つ提案する。 さらに,リスクの高い疑似ラベル予測が存在する教師への信頼度の高いフィードバック提供のために,教師・生徒モデルの不確かさを定量化し,活用する。 $\texttt{TSBO}$は、厳密なラベル付きデータ予算の下で、いくつかのグローバル最適化タスクにおいて、サンプル効率が大幅に改善されたことを示す。

関連論文リスト

• Semi-Supervised Semantic Segmentation via Gentle Teaching Assistant [72.4512562104361]
  擬似ラベル付きラベル付きラベル付きデータは,特徴抽出器における代表的特徴の学習を容易にすることができると論じる。 そこで本研究では,擬似ラベルが特徴抽出器やマスク予測器に与える影響を解消する新しい枠組みであるジェントル指導アシスタント(GTA-Seg)を提案する。
  論文  参考訳（メタデータ） (2023-01-18T07:11:24Z)
• Non-iterative optimization of pseudo-labeling thresholds for training object detection models from multiple datasets [2.1485350418225244]
  低コストデータセットの集合からオブジェクト検出を学習するために、擬似ラベル閾値を最適化する非定型的手法を提案する。 提案手法はCOCOおよびVOCデータセット上の格子探索に匹敵するmAPを実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2022-10-19T00:31:34Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• Semi-Automatic Data Annotation guided by Feature Space Projection [117.9296191012968]
  本稿では,適切な特徴空間投影と半教師付きラベル推定に基づく半自動データアノテーション手法を提案する。 MNISTデータセットとヒト腸内寄生虫の胎児不純物の有無による画像を用いて本手法の有効性を検証した。 この結果から,人間と機械の相補的能力を組み合わせた視覚分析ツールの付加価値が,より効果的な機械学習に有効であることが示唆された。
  論文  参考訳（メタデータ） (2020-07-27T17:03:50Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised Medical Image Segmentation [99.90263375737362]
  教師-学生最適化の非同期版であるATSOを提案する。 ATSOはラベルのないデータを2つのサブセットに分割し、モデルの微調整に1つのサブセットを交互に使用し、他のサブセットのラベルを更新する。 医用画像のセグメンテーションデータセットを2つ評価し,様々な半教師付き環境において優れた性能を示す。
  論文  参考訳（メタデータ） (2020-06-24T04:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。