論文の概要: The Backbone Method for Ultra-High Dimensional Sparse Machine Learning

• arxiv url: http://arxiv.org/abs/2006.06592v3
• Date: Thu, 14 Oct 2021 22:54:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 10:12:14.703298
• Title: The Backbone Method for Ultra-High Dimensional Sparse Machine Learning
• Title（参考訳）: 超高次元スパース機械学習のためのバックボーン法
• Authors: Dimitris Bertsimas, Vassilis Digalakis Jr
• Abstract要約: 超高次元問題にスケールできるスパースかつ解釈可能な機械学習手法を実現する汎用フレームワークであるBackbone法を提案する。 私たちは、分で107ドル、時間で108ドル、分で105ドルという決定ツリーの問題でスパースレグレッションの問題を解決する。
• 参考スコア（独自算出の注目度）: 3.7565501074323224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the backbone method, a generic framework that enables sparse and interpretable supervised machine learning methods to scale to ultra-high dimensional problems. We solve sparse regression problems with $10^7$ features in minutes and $10^8$ features in hours, as well as decision tree problems with $10^5$ features in minutes.The proposed method operates in two phases: we first determine the backbone set, consisting of potentially relevant features, by solving a number of tractable subproblems; then, we solve a reduced problem, considering only the backbone features. For the sparse regression problem, our theoretical analysis shows that, under certain assumptions and with high probability, the backbone set consists of the truly relevant features. Numerical experiments on both synthetic and real-world datasets demonstrate that our method outperforms or competes with state-of-the-art methods in ultra-high dimensional problems, and competes with optimal solutions in problems where exact methods scale, both in terms of recovering the truly relevant features and in its out-of-sample predictive performance.
• Abstract（参考訳）: 超高次元問題にスケールできるスパースかつ解釈可能な機械学習手法を実現する汎用フレームワークであるBackbone法を提案する。 提案手法は,時間に10^7$,時間に10^8$,時間に10^5$,時間に10^8$,時間に10^5$,時間に10^8$,時間に10^8$,時間に10^5$,時間に10^8$,時間に10^8$,時間に10^5$,時間に10^5$,時間に10^8$,時間に10^5$,時間に10^5$,時間に10^8$,時間に10^5$,時間に10^8$,時間に10^8$,時間で疎回帰問題を解く。 スパース回帰問題に対して、理論解析により、ある仮定の下で、高い確率で、バックボーン集合が真に関連する特徴からなることを示す。 合成データと実世界のデータの両方における数値実験により,超高次元問題において,本手法は最先端手法よりも優れ,あるいは競合することを示し,真の関連する特徴の回復と予測性能の両面において,厳密な手法がスケールする問題において最適解と競合することを示した。

関連論文リスト

• Predictive Low Rank Matrix Learning under Partial Observations: Mixed-Projection ADMM [5.877778007271621]
  我々は、この問題を最適化問題として定式化し、再現の強度と観測項目とのバランスをとる。 我々は,高品質な実現可能な解を生成する乗算器アルゴリズムの効率的かつスケーラブルな交互方向法を設計する。 我々のアルゴリズムは、$n = 10000$行と$m = 10000$列を1分以内で解くことができる。
  論文  参考訳（メタデータ） (2024-07-18T17:33:14Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Random Manifold Sampling and Joint Sparse Regularization for Multi-label Feature Selection [0.0]
  本稿では,$ell_2,1$および$ell_F$正規化の連立制約付き最適化問題を解くことで,最も関連性の高いいくつかの特徴を得ることができる。 実世界のデータセットの比較実験により,提案手法が他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-13T15:06:12Z)
• A framework for bilevel optimization that enables stochastic and global variance reduction algorithms [17.12280360174073]
  双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。 本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。 我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
  論文  参考訳（メタデータ） (2022-01-31T18:17:25Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Quantum-Assisted Feature Selection for Vehicle Price Prediction Modeling [0.0]
  本研究では,一般平均情報係数やピアソン相関係数などの二元モデルとして検索を符号化する指標について検討する。 我々は,新しい指標を用いて合成データの最適部分集合を求めるための0.9の精度スコアを得る。 その結果、量子支援ルーチンを活用することで、予測モデル出力の品質を高めるソリューションが見つかることが分かりました。
  論文  参考訳（メタデータ） (2021-04-08T20:48:44Z)
• On the Treatment of Optimization Problems with L1 Penalty Terms via Multiobjective Continuation [0.0]
  本稿では,線形・非線形最適化におけるスパース性の影響を詳細に把握するアルゴリズムを提案する。 本手法は非線形の場合に対する線形回帰問題に対するよく知られたホモトピー法の一般化と見なすことができる。
  論文  参考訳（メタデータ） (2020-12-14T13:00:50Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)
• The Simulator: Understanding Adaptive Sampling in the Moderate-Confidence Regime [52.38455827779212]
  エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。 適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。 我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
  論文  参考訳（メタデータ） (2017-02-16T23:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。