論文の概要: Targeted Cross-Validation
- arxiv url: http://arxiv.org/abs/2109.06949v1
- Date: Tue, 14 Sep 2021 19:53:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-16 15:13:17.795834
- Title: Targeted Cross-Validation
- Title（参考訳）: ターゲットクロスバリデーション
- Authors: Jiawei Zhang, Jie Ding, Yuhong Yang
- Abstract要約: 一般の重み付き$L$損失に基づいてモデルやプロシージャを選択するためのターゲットクロスバリデーション(TCV)を提案する。
我々は、TCVが$L$損失の下で最高のパフォーマンス候補を選択することに一貫性があることを示します。
本研究では,サンプルサイズの変化に応じて最適な候補を切り替えることにより,選択整合性の概念を広げる。
- 参考スコア（独自算出の注目度）: 23.689101487016266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many applications, we have access to the complete dataset but are only
interested in the prediction of a particular region of predictor variables. A
standard approach is to find the globally best modeling method from a set of
candidate methods. However, it is perhaps rare in reality that one candidate
method is uniformly better than the others. A natural approach for this
scenario is to apply a weighted $L_2$ loss in performance assessment to reflect
the region-specific interest. We propose a targeted cross-validation (TCV) to
select models or procedures based on a general weighted $L_2$ loss. We show
that the TCV is consistent in selecting the best performing candidate under the
weighted $L_2$ loss. Experimental studies are used to demonstrate the use of
TCV and its potential advantage over the global CV or the approach of using
only local data for modeling a local region.
Previous investigations on CV have relied on the condition that when the
sample size is large enough, the ranking of two candidates stays the same.
However, in many applications with the setup of changing data-generating
processes or highly adaptive modeling methods, the relative performance of the
methods is not static as the sample size varies. Even with a fixed
data-generating process, it is possible that the ranking of two methods
switches infinitely many times. In this work, we broaden the concept of the
selection consistency by allowing the best candidate to switch as the sample
size varies, and then establish the consistency of the TCV. This flexible
framework can be applied to high-dimensional and complex machine learning
scenarios where the relative performances of modeling procedures are dynamic.
- Abstract（参考訳）: 多くのアプリケーションでは、完全なデータセットにアクセスできますが、予測変数の特定の領域の予測のみに関心があります。
標準的なアプローチは、候補メソッドの集合からグローバルに最適なモデリング方法を見つけることである。
しかし、実際には一つの候補法が他の方法よりも一様に優れていることは稀である。
このシナリオに対する自然なアプローチは、地域固有の関心を反映してパフォーマンスアセスメントの重み付けされた$l_2$損失を適用することである。
一般の重み付き$L_2$損失に基づいてモデルやプロシージャを選択するためのターゲットクロスバリデーション(TCV)を提案する。
重み付けされた$L_2$損失の下で、TCVは最高のパフォーマンス候補を選択することに一貫性があることが示される。
グローバルCVに対するTCVの利用と潜在的な優位性、あるいは局所領域をモデル化するためにローカルデータのみを使用するアプローチを示すために実験的研究が用いられている。
cvに関する以前の調査は、サンプルサイズが十分大きい場合、2人の候補者のランクが同じであるという条件に依存している。
しかし、データ生成プロセスの変更や高度適応モデリング手法をセットアップした多くのアプリケーションでは、サンプルサイズが異なるため、相対的な性能は静的ではない。
固定データ生成プロセスであっても、2つのメソッドのランク付けが無限に何度も切り替わる可能性がある。
本研究では,サンプルサイズが変化するにつれて最適な候補が切り替えられるようにすることで,選択一貫性の概念を広げ,tcvの一貫性を確立する。
この柔軟なフレームワークは、モデリング手順の相対的なパフォーマンスが動的である高次元および複雑な機械学習シナリオに適用することができる。
関連論文リスト
- Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs [18.242110417706]
この研究は、膨大なラベルのないオープンデータから事前訓練された言語モデルへの活用と選択に焦点を当てている。
特定の条件下での微調整タスクに対するこのアプローチの最適性を示す。
提案手法は既存の手法よりもはるかに高速で,GPU時間内に数百万のサンプルにスケールアップする。
論文 参考訳（メタデータ） (2024-05-05T00:08:00Z) - Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。
具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。
実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-02-22T12:55:01Z) - Efficient Weighting Schemes for Auditing Instant-Runoff Voting Elections [57.67176250198289]
AWAIREは、適応的に重み付けされたテスト統計量であり、本質的には、テストに有効な仮説のセットを「学習」する。
我々は、より広範囲にスキームと設定を検討し、実践のための効率的な選択を特定し、推奨する。
現在のAWAIRE実装の制限は、少数の候補者に限られている。
論文 参考訳（メタデータ） (2024-02-18T10:13:01Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳（メタデータ） (2024-01-23T17:22:00Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳（メタデータ） (2023-06-06T09:35:29Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Approximate Cross-Validation for Structured Models [20.79997929155929]
金標準評価技術は構造化クロスバリデーション(CV)である
しかし、すでに拡張された学習アルゴリズムを何度も再実行する必要があるため、ここでのCVは違法に遅くなる可能性がある。
従来の研究では、近似クロスバリデーション(ACV)法が高速かつ確実な代替手段であることが示された。
論文 参考訳（メタデータ） (2020-06-23T00:06:03Z) - Efficient implementations of echo state network cross-validation [0.0]
CV(Cross-Validation)は、時系列モデリングではまだ一般的ではない。
本稿では,具体的な時間間隔を予測するための時系列のCVについて論じる。
本稿では,効率的な実装アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-19T13:49:43Z) - DGSAC: Density Guided Sampling and Consensus [4.808421423598809]
Kernel Residual Densityは、inlierとoutlierの主な差別化要因である。
本稿では,2つのモデル選択アルゴリズム,最適2次プログラム,および欲求性を提案する。
平面分割, 運動分割, 点推定, 3次元点雲への平面整合, 直線, 円環整合など, 様々なタスクについて評価を行った。
論文 参考訳（メタデータ） (2020-06-03T17:42:53Z) - Estimating the Prediction Performance of Spatial Models via Spatial
k-Fold Cross Validation [1.7205106391379026]
機械学習では、モデルの性能を評価するときにデータが独立していると仮定することが多い。
空間自己相関(spatial autocorrelation, SAC)は、標準クロスバリデーション(CV)法により、楽観的に偏りのある予測性能推定を生成する。
本研究では,SACによる楽観的バイアスを伴わないモデル予測性能を評価するため,空間k-fold Cross Validation (SKCV) と呼ばれるCV法の改良版を提案する。
論文 参考訳（メタデータ） (2020-05-28T19:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。