論文の概要: Understanding Best Subset Selection: A Tale of Two C(omplex)ities

• arxiv url: http://arxiv.org/abs/2301.06259v3
• Date: Fri, 11 Apr 2025 23:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:44:48.201766
• Title: Understanding Best Subset Selection: A Tale of Two C(omplex)ities
• Title（参考訳）: ベストサブセット選択を理解する:2つのC(Omplex)の物語
• Authors: Saptarshi Roy, Ambuj Tewari, Ziwei Zhu,
• Abstract要約: 高次元スパース線形回帰モデルにおけるベストサブセット選択(BSS)の問題点を考察する。 特に、識別可能性マージンと2つの複雑性尺度に応じて、必要条件と十分なマージン条件の両方を確立する。
• 参考スコア（独自算出の注目度）: 18.83617956033111
• License:
• Abstract: We consider the problem of best subset selection (BSS) under high-dimensional sparse linear regression model. Recently, Guo et al. (2020) showed that the model selection performance of BSS depends on a certain identifiability margin, a measure that captures the model discriminative power of BSS under a general correlation structure that is robust to the design dependence, unlike its computational surrogates such as LASSO, SCAD, MCP, etc. Expanding on this, we further broaden the theoretical understanding of best subset selection in this paper and show that the complexities of the residualized signals, the portion of the signals orthogonal to the true active features, and spurious projections, describing the projection operators associated with the irrelevant features, also play fundamental roles in characterizing the margin condition for model consistency of BSS. In particular, we establish both necessary and sufficient margin conditions depending only on the identifiability margin and the two complexity measures. We also partially extend our sufficiency result to the case of high-dimensional sparse generalized linear models (GLMs).
• Abstract（参考訳）: 高次元スパース線形回帰モデルにおけるベストサブセット選択(BSS)の問題点を考察する。 最近、Guo et al (2020) は、BSSのモデル選択性能は、LASSO, SCAD, MCP などの計算シュロゲートと異なり、設計依存性に頑健な一般的な相関構造の下で、BSSのモデル判別パワーを捕捉する指標である特定識別可能性マージンに依存することを示した。 そこで本論文では, 最良部分集合選択の理論的理解をさらに深め, 残留信号の複雑さ, 真の能動特徴に直交する信号の一部, 突発射影が, 関係のない特徴に付随する射影作用素を記述し, また, BSSのモデル整合性に対するマージン条件を特徴付ける上でも, 基本的役割を担っていることを示す。 特に、識別可能性マージンと2つの複雑性尺度にのみ依存し、必要かつ十分なマージン条件を確立する。 また, 高次元スパース一般化線形モデル (GLMs) の場合には, 充足率を部分的に拡張する。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning [2.3072402651280517]
  本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件により、低ランク因子化による冗長成分の近似を提案する。
  論文  参考訳（メタデータ） (2024-02-10T04:45:27Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Consistency Models for Scalable and Fast Simulation-Based Inference [9.27488642055461]
  シミュレーションベース推論(SBI)のための新しい条件付きサンプルであるCMPEの整合性モデルを提案する。 CMPEは基本的に連続した確率フローを蒸留し、制約のないアーキテクチャで高速な数発の推論を可能にする。 実験により,CMPEは高次元のベンチマークで最先端のアルゴリズムより優れるだけでなく,より高速なサンプリング速度で競合性能を達成できることを示した。
  論文  参考訳（メタデータ） (2023-12-09T02:14:12Z)
• On the Benefits of Leveraging Structural Information in Planning Over the Learned Model [3.3512508970931236]
  本稿では, サンプルの複雑さを低減させる手法として, システム構造情報を活用する利点について検討する。 分析の結果,モデルの構造的情報を活用することで,サンプルの複雑さを大幅に削減できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-15T18:18:01Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making [48.87943416098096]
  本稿では,一般的な逐次決定のための簡単な学習アルゴリズムを提案する。 我々は,OMLEが極めて豊富な逐次的意思決定問題のクラスにおいて,ほぼ最適ポリシーを学習していることを証明する。
  論文  参考訳（メタデータ） (2022-09-29T17:56:25Z)
• Distributionally robust risk evaluation with a causality constraint and structural information [0.0]
  ニューラルネットワークによるテスト関数を近似し、Rademacherの複雑さによるサンプルの複雑さを証明する。 我々のフレームワークは、分散的にロバストなポートフォリオ選択問題において、従来のものよりも優れています。
  論文  参考訳（メタデータ） (2022-03-20T14:48:37Z)
• Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
  我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。 特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。 以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-08T16:39:57Z)
• Complexity Measures for Multi-objective Symbolic Regression [2.4087148947930634]
  多目的的シンボリック回帰は、学習したモデルの精度が最大化される一方で、その複雑さが自動的に適応されるという利点がある。 NSGA-IIを用いて多目的最適化を行う場合, シンボリック回帰においてどの複雑性尺度が最適に使用されるかを検討する。
  論文  参考訳（メタデータ） (2021-09-01T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。