論文の概要: Stabilizing black-box model selection with the inflated argmax

• arxiv url: http://arxiv.org/abs/2410.18268v1
• Date: Wed, 23 Oct 2024 20:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:47.312017
• Title: Stabilizing black-box model selection with the inflated argmax
• Title（参考訳）: 膨張argmaxによるブラックボックスモデル選択の安定化
• Authors: Melissa Adrian, Jake A. Soloff, Rebecca Willett,
• Abstract要約: 本稿では,バッジと「膨らませた」argmax演算を組み合わせたモデル選択の安定化手法を提案する。 提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重複するモデルのコレクションが生成される。 いずれの設定においても,提案手法は,選択したモデルの安定かつコンパクトなコレクションを生成し,様々なベンチマークより優れている。
• 参考スコア（独自算出の注目度）: 8.52745154080651
• License:
• Abstract: Model selection is the process of choosing from a class of candidate models given data. For instance, methods such as the LASSO and sparse identification of nonlinear dynamics (SINDy) formulate model selection as finding a sparse solution to a linear system of equations determined by training data. However, absent strong assumptions, such methods are highly unstable: if a single data point is removed from the training set, a different model may be selected. This paper presents a new approach to stabilizing model selection that leverages a combination of bagging and an "inflated" argmax operation. Our method selects a small collection of models that all fit the data, and it is stable in that, with high probability, the removal of any training point will result in a collection of selected models that overlaps with the original collection. In addition to developing theoretical guarantees, we illustrate this method in (a) a simulation in which strongly correlated covariates make standard LASSO model selection highly unstable and (b) a Lotka-Volterra model selection problem focused on identifying how competition in an ecosystem influences species' abundances. In both settings, the proposed method yields stable and compact collections of selected models, outperforming a variety of benchmarks.
• Abstract（参考訳）: モデル選択は、与えられたデータの候補モデルのクラスから選択するプロセスである。 例えば、LASSOや非線形力学(SINDy)モデル選択のスパース同定といった手法は、トレーニングデータによって決定される方程式の線形系に対するスパース解を求めるものである。 しかし、強い仮定がないため、そのような手法は非常に不安定であり、トレーニングセットから1つのデータポイントを削除した場合、異なるモデルを選択することができる。 本稿では,バッジと「膨らませた」argmax演算を組み合わせたモデル選択の安定化手法を提案する。 提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重複するモデルのコレクションが生成される。 理論的保証の発達に加えて,本手法を解説する。 (a)強相関共変体が標準LASSOモデル選択を極めて不安定かつ不安定にするシミュレーション (b)ロトカ・ボルテラモデル選択問題において,生態系における競争が種数に与える影響を明らかにすることに焦点を当てた。 いずれの設定においても,提案手法は,選択したモデルの安定かつコンパクトなコレクションを生成し,様々なベンチマークより優れている。

関連論文リスト

• Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection [40.85209520973634]
  理想的なモデル選択スキームは、候補モデルの大きなプール上で2つの操作を効率的にサポートすべきである。 モデル選択に対する従来の解決策は、これらの2つの操作のうちの少なくとも1つに対して高い計算複雑性を必要とする。 モデル埋め込みを実証的に実現したStandardized Embedderを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:57:49Z)
• A model-free feature selection technique of feature screening and random forest based recursive feature elimination [0.0]
  質量特徴を持つ超高次元データのモデルフリー特徴選択法を提案する。 提案手法は選択整合性を示し, 弱正則条件下では$L$整合性を示す。
  論文  参考訳（メタデータ） (2023-02-15T03:39:16Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• A Statistical-Modelling Approach to Feedforward Neural Network Model Selection [0.8287206589886881]
  フィードフォワードニューラルネットワーク(FNN)は非線形回帰モデルと見なすことができる。 FNNのためのベイズ情報基準(BIC)を用いて,新しいモデル選択法を提案する。 サンプル外性能よりもBICを選択することは、真のモデルを回復する確率を増大させる。
  論文  参考訳（メタデータ） (2022-07-09T11:07:04Z)
• Universal and data-adaptive algorithms for model selection in linear contextual bandits [52.47796554359261]
  モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。 データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。 我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
  論文  参考訳（メタデータ） (2021-11-08T18:05:35Z)
• A linearized framework and a new benchmark for model selection for fine-tuning [112.20527122513668]
  異なるドメインで事前訓練されたモデルの集合からの微調整は、低データ体制におけるテストの精度を向上させる技術として現れている。 モデル選択のための2つの新しいベースライン - Label-Gradient と Label-Feature correlation を導入する。 我々のベンチマークでは、微調整されたイメージネットモデルと比較して、モデル動物園での精度向上が強調されている。
  論文  参考訳（メタデータ） (2021-01-29T21:57:15Z)
• On Statistical Efficiency in Learning [37.08000833961712]
  モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。 モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。 実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
  論文  参考訳（メタデータ） (2020-12-24T16:08:29Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach [6.509758931804479]
  提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。 その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
  論文  参考訳（メタデータ） (2020-07-06T13:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。