論文の概要: Local Boosting for Weakly-Supervised Learning
- arxiv url: http://arxiv.org/abs/2306.02859v1
- Date: Mon, 5 Jun 2023 13:24:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 15:02:32.177668
- Title: Local Boosting for Weakly-Supervised Learning
- Title(参考訳): 弱教師付き学習のための局所ブースティング
- Authors: Rongzhi Zhang, Yue Yu, Jiaming Shen, Xiquan Cui, Chao Zhang
- Abstract要約: ブースティングは、強力なアンサンブルモデルと組み合わせることで、ベースモデルのセットのパフォーマンスを向上させる技術である。
弱い教師付き学習では、ほとんどのデータが弱くてノイズの多い情報源によってラベル付けされているが、効果的な強化アプローチを設計するのは簡単ではない。
我々は、弱教師付きブースティングのための新しいフレームワークである$textitLocalBoost$を提案する。
- 参考スコア(独自算出の注目度): 21.95003048165616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Boosting is a commonly used technique to enhance the performance of a set of
base models by combining them into a strong ensemble model. Though widely
adopted, boosting is typically used in supervised learning where the data is
labeled accurately. However, in weakly supervised learning, where most of the
data is labeled through weak and noisy sources, it remains nontrivial to design
effective boosting approaches. In this work, we show that the standard
implementation of the convex combination of base learners can hardly work due
to the presence of noisy labels. Instead, we propose $\textit{LocalBoost}$, a
novel framework for weakly-supervised boosting. LocalBoost iteratively boosts
the ensemble model from two dimensions, i.e., intra-source and inter-source.
The intra-source boosting introduces locality to the base learners and enables
each base learner to focus on a particular feature regime by training new base
learners on granularity-varying error regions. For the inter-source boosting,
we leverage a conditional function to indicate the weak source where the sample
is more likely to appear. To account for the weak labels, we further design an
estimate-then-modify approach to compute the model weights. Experiments on
seven datasets show that our method significantly outperforms vanilla boosting
methods and other weakly-supervised methods.
- Abstract(参考訳): ブースティングは、ベースモデルのセットを強力なアンサンブルモデルに組み合わせることで、パフォーマンスを向上させるために一般的に使用されるテクニックである。
広く採用されているが、boostingは通常、データが正確にラベル付けされた教師付き学習で使用される。
しかしながら、ほとんどのデータが弱くノイズの多いソースを通じてラベル付けされている弱い教師付き学習では、効果的なブースティングアプローチを設計することは非自明である。
本研究では,基本学習者の凸結合の標準的な実装は,ノイズのあるラベルが存在するため,ほとんど動作しないことを示す。
代わりに、弱教師付きブースティングのための新しいフレームワークである$\textit{LocalBoost}$を提案する。
LocalBoostは、アンサンブルモデルをイントラソースとイントラソースの2次元から反復的に強化する。
ソース内ブースティングは、ベース学習者に局所性を導入し、新しいベース学習者を粒度変動エラー領域で訓練することにより、ベース学習者が特定の特徴体系に集中できるようにする。
ソース間ブーピングでは、条件関数を利用して、サンプルがより出現しやすい弱いソースを示す。
弱いラベルを考慮し,モデル重みを計算するための推定量修正手法をさらに設計する。
7つのデータセットに対する実験により,本手法はバニラブースティング法や他の弱教師付き手法よりも優れていた。
関連論文リスト
- A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - Federated Class-Incremental Learning with Prototype Guided Transformer [45.043064116390866]
現実の状況では、各クライアントは新しいクラスを動的に学習し、グローバルモデルが新しいクラスと古いクラスの区別能力を維持する必要がある。
低通信コスト下での破滅的忘れとデータ不均一性の効果を効果的に軽減するために,我々はPLoRAという簡易かつ効果的な手法を考案した。
本手法は, 様々なシナリオやデータの不均一性の程度において, 強靭性と優越性を示す。
論文 参考訳(メタデータ) (2024-01-04T06:46:19Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳(メタデータ) (2022-11-12T09:21:49Z) - PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive
Weakly-Supervised Learning [57.66155242473784]
弱教師付き学習(WSL)は,多くのNLPタスクにおいてラベル不足に対処する上で有望な結果を示した。
提案モデルであるPRBoostは、反復的なプロンプトベースのルール発見とモデル強化によってこの目標を達成する。
4つのタスクの実験では、PRBoostは最先端のWSLベースラインを7.1%まで上回っている。
論文 参考訳(メタデータ) (2022-03-18T04:23:20Z) - Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。
クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。
提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
論文 参考訳(メタデータ) (2022-01-04T06:55:19Z) - KGBoost: A Classification-based Knowledge Base Completion Method with
Negative Sampling [29.14178162494542]
KGBoostは、リンク予測の欠如のために強力な分類器を訓練する新しい方法である。
我々は、複数のベンチマークデータセットで実験を行い、KGBoostがほとんどのデータセットで最先端のメソッドより優れていることを示す。
エンドツーエンドの最適化によって訓練されたモデルと比較して、KGBoostは、より小さなモデルサイズを実現するために、低次元設定下でうまく機能する。
論文 参考訳(メタデータ) (2021-12-17T06:19:37Z) - Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in
Scene Segmentation [41.05407168312345]
ドメイン適応とは、ソースドメインから学んだ共有知識を新しい環境、すなわちターゲットドメインに転送することである。
1つの一般的なプラクティスは、ラベル付きソースドメインデータとラベルなしターゲットドメインデータの両方でモデルをトレーニングすることです。
学習中に補足モデルを明確に学習する1つの効果的なブートストラップ法であるadaboost studentを提案する。
論文 参考訳(メタデータ) (2021-03-29T15:12:58Z) - BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。
既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。
この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
論文 参考訳(メタデータ) (2020-08-11T17:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。