論文の概要: Tale of two c(omplex)ities

• arxiv url: http://arxiv.org/abs/2301.06259v1
• Date: Mon, 16 Jan 2023 04:52:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 16:35:31.746078
• Title: Tale of two c(omplex)ities
• Title（参考訳）: 2つのc(Omplex)の物語
• Authors: Saptarshi Roy, Ambuj Tewari, Ziwei Zhu
• Abstract要約: 高次元スパース線形回帰設定における最適部分集合選択の変数選択特性について検討する。 同定可能性マージンとは別に、以下の2つの複雑さ尺度がモデル整合性のマージン条件を特徴づける上で基本的な役割を果たすことを示す。
• 参考スコア（独自算出の注目度）: 25.665534614984647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For decades, best subset selection (BSS) has eluded statisticians mainly due to its computational bottleneck. However, until recently, modern computational breakthroughs have rekindled theoretical interest in BSS and have led to new findings. Recently, Guo et al. (2020) showed that the model selection performance of BSS is governed by a margin quantity that is robust to the design dependence, unlike modern methods such as LASSO, SCAD, MCP, etc. Motivated by their theoretical results, in this paper, we also study the variable selection properties of best subset selection for high-dimensional sparse linear regression setup. We show that apart from the identifiability margin, the following two complexity measures play a fundamental role in characterizing the margin condition for model consistency: (a) complexity of residualized features, (b) complexity of spurious projections. In particular, we establish a simple margin condition that only depends only on the identifiability margin quantity and the dominating one of the two complexity measures. Furthermore, we show that a similar margin condition depending on similar margin quantity and complexity measures is also necessary for model consistency of BSS. For a broader understanding of the complexity measures, we also consider some simple illustrative examples to demonstrate the variation in the complexity measures which broadens our theoretical understanding of the model selection performance of BSS under different correlation structures.
• Abstract（参考訳）: 数十年の間、ベストサブセット選択(BSS)は、主に計算ボトルネックのために統計学者を除いた。 しかし、最近まで、現代の計算のブレークスルーはBSSに対する理論的な関心を再燃させ、新たな発見をもたらした。 最近,Guoら (2020) は, BSSのモデル選択性能は, LASSO, SCAD, MCPなどの現代的な手法とは異なり, 設計依存性に頑健なマージン量で管理されていることを示した。 本稿では,それらの理論結果に動機づけられ,高次元スパース線形回帰設定における最適部分集合選択の変数選択特性について検討する。 識別可能性マージンとは別に、以下の2つの複雑性測度がモデル一貫性のマージン条件を特徴付ける基本的な役割を担っていることを示す。 (a)残存特徴の複雑さ (b)突発的射影の複雑さ。 特に,2つの複雑性尺度のうち,識別可能マージン量と支配的マージン量のみに依存する単純なマージン条件を確立する。 さらに,BSSのモデル整合性には,類似のマージン量と複雑性尺度による類似のマージン条件も必要であることを示す。 複雑性尺度のより広範な理解のために、異なる相関構造下でのBSSのモデル選択性能に関する理論的理解を広げる複雑性尺度のバリエーションを示すための簡単な例についても考察する。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning [2.3072402651280517]
  本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件により、低ランク因子化による冗長成分の近似を提案する。
  論文  参考訳（メタデータ） (2024-02-10T04:45:27Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Consistency Models for Scalable and Fast Simulation-Based Inference [9.27488642055461]
  シミュレーションベース推論(SBI)のための新しい条件付きサンプルであるCMPEの整合性モデルを提案する。 CMPEは基本的に連続した確率フローを蒸留し、制約のないアーキテクチャで高速な数発の推論を可能にする。 実験により,CMPEは高次元のベンチマークで最先端のアルゴリズムより優れるだけでなく,より高速なサンプリング速度で競合性能を達成できることを示した。
  論文  参考訳（メタデータ） (2023-12-09T02:14:12Z)
• On the Benefits of Leveraging Structural Information in Planning Over the Learned Model [3.3512508970931236]
  本稿では, サンプルの複雑さを低減させる手法として, システム構造情報を活用する利点について検討する。 分析の結果,モデルの構造的情報を活用することで,サンプルの複雑さを大幅に削減できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-15T18:18:01Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making [48.87943416098096]
  本稿では,一般的な逐次決定のための簡単な学習アルゴリズムを提案する。 我々は,OMLEが極めて豊富な逐次的意思決定問題のクラスにおいて,ほぼ最適ポリシーを学習していることを証明する。
  論文  参考訳（メタデータ） (2022-09-29T17:56:25Z)
• Distributionally robust risk evaluation with a causality constraint and structural information [0.0]
  ニューラルネットワークによるテスト関数を近似し、Rademacherの複雑さによるサンプルの複雑さを証明する。 我々のフレームワークは、分散的にロバストなポートフォリオ選択問題において、従来のものよりも優れています。
  論文  参考訳（メタデータ） (2022-03-20T14:48:37Z)
• Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
  我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。 特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。 以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-08T16:39:57Z)
• Complexity Measures for Multi-objective Symbolic Regression [2.4087148947930634]
  多目的的シンボリック回帰は、学習したモデルの精度が最大化される一方で、その複雑さが自動的に適応されるという利点がある。 NSGA-IIを用いて多目的最適化を行う場合, シンボリック回帰においてどの複雑性尺度が最適に使用されるかを検討する。
  論文  参考訳（メタデータ） (2021-09-01T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。