論文の概要: Bridging between soft and hard thresholding by scaling
- arxiv url: http://arxiv.org/abs/2104.09703v1
- Date: Tue, 20 Apr 2021 00:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 13:51:35.081883
- Title: Bridging between soft and hard thresholding by scaling
- Title（参考訳）: スケーリングによるソフトスレッショニングとハードスレッショニングの橋渡し
- Authors: Katsuyuki Hagiwara
- Abstract要約: 実験的スケーリング値によってソフトしきい値推定器を独立に拡張するしきい値法を開発し,解析する。
スケールされた柔らかいしきい値付けは特別な場合として柔らかいしきい値付けおよび非否定的なgarroteを含む一般的な方法です。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article, we developed and analyzed a thresholding method in which
soft thresholding estimators are independently expanded by empirical scaling
values. The scaling values have a common hyper-parameter that is an order of
expansion of an ideal scaling value that achieves hard thresholding. We simply
call this estimator a scaled soft thresholding estimator. The scaled soft
thresholding is a general method that includes the soft thresholding and
non-negative garrote as special cases and gives an another derivation of
adaptive LASSO. We then derived the degree of freedom of the scaled soft
thresholding by means of the Stein's unbiased risk estimate and found that it
is decomposed into the degree of freedom of soft thresholding and the reminder
connecting to hard thresholding. In this meaning, the scaled soft thresholding
gives a natural bridge between soft and hard thresholding methods. Since the
degree of freedom represents the degree of over-fitting, this result implies
that there are two sources of over-fitting in the scaled soft thresholding. The
first source originated from soft thresholding is determined by the number of
un-removed coefficients and is a natural measure of the degree of over-fitting.
We analyzed the second source in a particular case of the scaled soft
thresholding by referring a known result for hard thresholding. We then found
that, in a sparse, large sample and non-parametric setting, the second source
is largely determined by coefficient estimates whose true values are zeros and
has an influence on over-fitting when threshold levels are around noise levels
in those coefficient estimates. In a simple numerical example, these
theoretical implications has well explained the behavior of the degree of
freedom. Moreover, based on the results here and some known facts, we explained
the behaviors of risks of soft, hard and scaled soft thresholding methods.
- Abstract（参考訳）: 本稿では,ソフトしきい値推定器を経験的スケーリング値によって独立に拡張するしきい値法を開発し,解析する。
スケーリング値は、ハードしきい値を達成する理想的なスケーリング値の拡張順序である共通のハイパーパラメータを持つ。
単にこの推定器をスケールドソフトしきい値推定器と呼ぶだけです。
スケールされたソフトしきい値設定は、ソフトしきい値設定と非負のガロテを特別に含む一般的な方法であり、適応LASSOの別の導出を与える。
次に, スタインの偏りのないリスク推定を用いて, スケールドソフトしきい値の自由度を導出し, ソフトしきい値の自由度とハードしきい値へのリマインダーに分解することを発見した。
この意味において、スケールされたソフト閾値法は、ソフトしきい値法とハードしきい値法の間に自然な橋渡しを与える。
自由度は過剰適合の度合いを表すため、この結果はスケールされたソフトしきい値付けには2つの過剰適合の源が存在することを意味する。
ソフトしきい値から導かれる第1のソースは、除去されていない係数の数によって決定され、過剰適合の度合いの自然な測度である。
ハードしきい値の既知結果を参照して, スケールドソフトしきい値の特定の場合における第2の源を解析した。
その結果, 粗大なサンプルと非パラメトリックな設定では, 真の値がゼロの係数推定値で決定され, しきい値がそれらの係数推定値のノイズレベル付近にある場合, 過度適合に影響を及ぼすことがわかった。
単純な数値的な例では、これらの理論的な含意は自由度の振る舞いをよく説明している。
さらに, この結果といくつかの既知の事実から, ソフト, ハード, スケールしたソフトしきい値測定手法のリスクの挙動を説明した。
関連論文リスト
- High-probability minimax lower bounds [2.5993680263955947]
ミニマックス量子化の概念を導入し、その量子化レベルへの依存を明確にする。
我々は、古典的なル・カム法とファノ法の高確率変種を開発し、局所的なミニマックスリスクの下限をミニマックス量子化上の下限に変換する技術を開発した。
論文 参考訳（メタデータ） (2024-06-19T11:15:01Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - C-Learner: Constrained Learning for Causal Inference and Semiparametric Statistics [5.395560682099634]
そこで本研究では,安定なプラグイン推定を望ましい特性で実現する新しいデバイアス推定器を提案する。
我々の制約学習フレームワークは、プラグイン量に対する一階誤差がゼロであるという制約の下で、最高のプラグイン推定器を解く。
我々の推定器は、処理と制御の重複が限定された挑戦的な環境での一段階推定と目標を上回り、それ以外は比較可能である。
論文 参考訳（メタデータ） (2024-05-15T16:38:28Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z) - Binary Classification with Instance and Label Dependent Label Noise [4.061135251278187]
ノイズの多いサンプルによる学習は、クリーンなサンプルへのアクセスやデータの分布に関する強い仮定なしには不可能であることを示す。
その結果, ノイズの多いサンプルのみによる学習は, クリーンなサンプルへのアクセスや, データの分布に関する強い仮定なしには不可能であることが示唆された。
論文 参考訳（メタデータ） (2023-06-06T04:47:44Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Convergence of uncertainty estimates in Ensemble and Bayesian sparse
model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。
このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文 参考訳（メタデータ） (2023-01-30T04:07:59Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Learning with Gradient Descent and Weakly Convex Losses [14.145079120746614]
本研究では,経験的リスクが弱い場合の勾配降下の学習性能について検討する。
2層ニューラルネットワークの場合、実験的なリスクは局所的な弱凸性の概念を満たすことができることを示す。
論文 参考訳（メタデータ） (2021-01-13T09:58:06Z) - Localization Uncertainty Estimation for Anchor-Free Object Detection [48.931731695431374]
アンカーベース物体検出のための既存の不確実性推定手法にはいくつかの制限がある。
アンカーフリー物体検出のためのUADと呼ばれる新しい位置推定不確実性推定手法を提案する。
本手法は,ボックスオフセットの4方向の不確かさを均一に捉え,どの方向が不確実であるかを判断する。
論文 参考訳（メタデータ） (2020-06-28T13:49:30Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳（メタデータ） (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。