論文の概要: Mixed Semi-Supervised Generalized-Linear-Regression with applications to
Deep learning
- arxiv url: http://arxiv.org/abs/2302.09526v1
- Date: Sun, 19 Feb 2023 09:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 17:59:09.196173
- Title: Mixed Semi-Supervised Generalized-Linear-Regression with applications to
Deep learning
- Title(参考訳): 混合半教師付き一般線形回帰と深層学習への応用
- Authors: Oren Yuval, Saharon Rosset
- Abstract要約: 本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。
それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。
- 参考スコア(独自算出の注目度): 4.860671253873579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a methodology for using unlabeled data to design semi supervised
learning (SSL) methods that improve the prediction performance of supervised
learning for regression tasks. The main idea is to design different mechanisms
for integrating the unlabeled data, and include in each of them a mixing
parameter $\alpha$, controlling the weight given to the unlabeled data.
Focusing on Generalized-Linear-Models (GLM), we analyze the characteristics of
different mixing mechanisms, and prove that in all cases, it is inevitably
beneficial to integrate the unlabeled data with some non-zero mixing ratio
$\alpha>0$, in terms of predictive performance. Moreover, we provide a rigorous
framework for estimating the best mixing ratio $\alpha^*$ where mixed-SSL
delivers the best predictive performance, while using the labeled and the
unlabeled data on hand.
The effectiveness of our methodology in delivering substantial improvement
compared to the standard supervised models, under a variety of settings, is
demonstrated empirically through extensive simulation, in a manner that
supports the theoretical analysis. We also demonstrate the applicability of our
methodology (with some intuitive modifications) in improving more complex
models such as deep neural networks, in a real-world regression tasks.
- Abstract(参考訳): 回帰タスクにおける教師あり学習の予測性能を向上させる半教師あり学習法(SSL)を設計するためにラベルなしデータを使用する手法を提案する。
主な考え方は、ラベルなしデータを統合するための異なるメカニズムを設計し、ラベルなしデータに与えられる重みを制御する混合パラメータ$\alpha$を含めることである。
一般化線形モデル (glm) に着目し, 異なる混合機構の特性を解析し, いずれの場合においても, 非ラベルデータと非零混合比 $\alpha>0$ を統合することは必然的に有益であることを示した。
さらに、ラベル付きデータとラベルなしデータを使用しながら、混合SSLが最高の予測性能を提供する場合、最良の混合比$\alpha^*$を推定するための厳密なフレームワークを提供する。
提案手法の有効性は,理論解析を支援する方法として,多種多様な条件下で,標準的な教師付きモデルと比較して大幅に改善されている。
また、実世界の回帰タスクにおいて、ディープニューラルネットワークのようなより複雑なモデルを改善するための方法論(直感的な修正を含む)の適用性を実証する。
関連論文リスト
- Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳(メタデータ) (2024-06-07T11:37:45Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳(メタデータ) (2022-04-13T15:54:35Z) - Using Explainable Boosting Machine to Compare Idiographic and Nomothetic
Approaches for Ecological Momentary Assessment Data [2.0824228840987447]
本稿では,非線形解釈型機械学習(ML)モデルを用いた分類問題について検討する。
木々の様々なアンサンブルは、不均衡な合成データセットと実世界のデータセットを用いて線形モデルと比較される。
2つの実世界のデータセットのうちの1つで、知識蒸留法は改善されたAUCスコアを達成する。
論文 参考訳(メタデータ) (2022-04-04T17:56:37Z) - Learning to Refit for Convex Learning Problems [11.464758257681197]
ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。
我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
論文 参考訳(メタデータ) (2021-11-24T15:28:50Z) - Nonparametric Functional Analysis of Generalized Linear Models Under
Nonlinear Constraints [0.0]
本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。
これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。
これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
論文 参考訳(メタデータ) (2021-10-11T04:49:59Z) - A Variational Infinite Mixture for Probabilistic Inverse Dynamics
Learning [34.90240171916858]
確率的局所モデルの無限混合に対する効率的な変分ベイズ推論手法を開発した。
我々は、データ駆動適応、高速予測、不連続関数とヘテロセダスティックノイズに対処する能力の組み合わせにおけるモデルのパワーを強調した。
学習したモデルを用いてBarrett-WAMマニピュレータのオンライン動的制御を行い、軌道追跡性能を大幅に改善した。
論文 参考訳(メタデータ) (2020-11-10T16:15:13Z) - Semi-Supervised Empirical Risk Minimization: Using unlabeled data to
improve prediction [4.860671253873579]
本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。
我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
論文 参考訳(メタデータ) (2020-09-01T17:55:51Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。