論文の概要: Bridging between soft and hard thresholding by scaling
- arxiv url: http://arxiv.org/abs/2104.09703v1
- Date: Tue, 20 Apr 2021 00:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 13:51:35.081883
- Title: Bridging between soft and hard thresholding by scaling
- Title(参考訳): スケーリングによるソフトスレッショニングとハードスレッショニングの橋渡し
- Authors: Katsuyuki Hagiwara
- Abstract要約: 実験的スケーリング値によってソフトしきい値推定器を独立に拡張するしきい値法を開発し,解析する。
スケールされた柔らかいしきい値付けは特別な場合として柔らかいしきい値付けおよび非否定的なgarroteを含む一般的な方法です。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article, we developed and analyzed a thresholding method in which
soft thresholding estimators are independently expanded by empirical scaling
values. The scaling values have a common hyper-parameter that is an order of
expansion of an ideal scaling value that achieves hard thresholding. We simply
call this estimator a scaled soft thresholding estimator. The scaled soft
thresholding is a general method that includes the soft thresholding and
non-negative garrote as special cases and gives an another derivation of
adaptive LASSO. We then derived the degree of freedom of the scaled soft
thresholding by means of the Stein's unbiased risk estimate and found that it
is decomposed into the degree of freedom of soft thresholding and the reminder
connecting to hard thresholding. In this meaning, the scaled soft thresholding
gives a natural bridge between soft and hard thresholding methods. Since the
degree of freedom represents the degree of over-fitting, this result implies
that there are two sources of over-fitting in the scaled soft thresholding. The
first source originated from soft thresholding is determined by the number of
un-removed coefficients and is a natural measure of the degree of over-fitting.
We analyzed the second source in a particular case of the scaled soft
thresholding by referring a known result for hard thresholding. We then found
that, in a sparse, large sample and non-parametric setting, the second source
is largely determined by coefficient estimates whose true values are zeros and
has an influence on over-fitting when threshold levels are around noise levels
in those coefficient estimates. In a simple numerical example, these
theoretical implications has well explained the behavior of the degree of
freedom. Moreover, based on the results here and some known facts, we explained
the behaviors of risks of soft, hard and scaled soft thresholding methods.
- Abstract(参考訳): 本稿では,ソフトしきい値推定器を経験的スケーリング値によって独立に拡張するしきい値法を開発し,解析する。
スケーリング値は、ハードしきい値を達成する理想的なスケーリング値の拡張順序である共通のハイパーパラメータを持つ。
単にこの推定器をスケールドソフトしきい値推定器と呼ぶだけです。
スケールされたソフトしきい値設定は、ソフトしきい値設定と非負のガロテを特別に含む一般的な方法であり、適応LASSOの別の導出を与える。
次に, スタインの偏りのないリスク推定を用いて, スケールドソフトしきい値の自由度を導出し, ソフトしきい値の自由度とハードしきい値へのリマインダーに分解することを発見した。
この意味において、スケールされたソフト閾値法は、ソフトしきい値法とハードしきい値法の間に自然な橋渡しを与える。
自由度は過剰適合の度合いを表すため、この結果はスケールされたソフトしきい値付けには2つの過剰適合の源が存在することを意味する。
ソフトしきい値から導かれる第1のソースは、除去されていない係数の数によって決定され、過剰適合の度合いの自然な測度である。
ハードしきい値の既知結果を参照して, スケールドソフトしきい値の特定の場合における第2の源を解析した。
その結果, 粗大なサンプルと非パラメトリックな設定では, 真の値がゼロの係数推定値で決定され, しきい値がそれらの係数推定値のノイズレベル付近にある場合, 過度適合に影響を及ぼすことがわかった。
単純な数値的な例では、これらの理論的な含意は自由度の振る舞いをよく説明している。
さらに, この結果といくつかの既知の事実から, ソフト, ハード, スケールしたソフトしきい値測定手法のリスクの挙動を説明した。
関連論文リスト
- Singlet-triplet-state readout in silicon-metal-oxide-semiconductor
double quantum dots [11.107951046447198]
我々は,機械学習を緩和非依存の読み出し手法として導入し,誤判断を減らす。
シミュレーションされたシングルショットトレースを分類する読み出し精度は、機械学習によって99.67%に向上することができる。
この研究は、機械学習手法が、高い忠実度と高精度なシングルトリップ状態の読み出しを安定的に達成する制限を緩和する強力な候補となる可能性を示唆している。
論文 参考訳(メタデータ) (2023-09-18T12:36:14Z) - Binary Classification with Instance and Label Dependent Label Noise [4.061135251278187]
ノイズの多いサンプルによる学習は、クリーンなサンプルへのアクセスやデータの分布に関する強い仮定なしには不可能であることを示す。
その結果, ノイズの多いサンプルのみによる学習は, クリーンなサンプルへのアクセスや, データの分布に関する強い仮定なしには不可能であることが示唆された。
論文 参考訳(メタデータ) (2023-06-06T04:47:44Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Convergence of uncertainty estimates in Ensemble and Bayesian sparse
model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。
このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文 参考訳(メタデータ) (2023-01-30T04:07:59Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-26T03:53:25Z) - Probability-Dependent Gradient Decay in Large Margin Softmax [11.795355937189553]
訓練中に確率依存的な勾配減衰率を制御するために、ソフトマックスで勾配減衰ハイパーパラメータが導入された。
一般化性能は信頼確率が上昇するにつれて勾配減衰率に大きく依存することがわかった。
本研究では,ソフトマックス損失を動的に調整するウォームアップ手法を提案する。
論文 参考訳(メタデータ) (2022-10-31T08:52:41Z) - Learning with Gradient Descent and Weakly Convex Losses [14.145079120746614]
本研究では,経験的リスクが弱い場合の勾配降下の学習性能について検討する。
2層ニューラルネットワークの場合、実験的なリスクは局所的な弱凸性の概念を満たすことができることを示す。
論文 参考訳(メタデータ) (2021-01-13T09:58:06Z) - Sparse Feature Selection Makes Batch Reinforcement Learning More Sample
Efficient [62.24615324523435]
本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。
候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
論文 参考訳(メタデータ) (2020-11-08T16:48:02Z) - Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。
この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
論文 参考訳(メタデータ) (2020-10-20T18:03:45Z) - Localization Uncertainty Estimation for Anchor-Free Object Detection [48.931731695431374]
アンカーベース物体検出のための既存の不確実性推定手法にはいくつかの制限がある。
アンカーフリー物体検出のためのUADと呼ばれる新しい位置推定不確実性推定手法を提案する。
本手法は,ボックスオフセットの4方向の不確かさを均一に捉え,どの方向が不確実であるかを判断する。
論文 参考訳(メタデータ) (2020-06-28T13:49:30Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳(メタデータ) (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。