論文の概要: Mean-field methods and algorithmic perspectives for high-dimensional machine learning

• arxiv url: http://arxiv.org/abs/2103.05945v1
• Date: Wed, 10 Mar 2021 09:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 14:41:23.876020
• Title: Mean-field methods and algorithmic perspectives for high-dimensional machine learning
• Title（参考訳）: 高次元機械学習における平均場法とアルゴリズム的視点
• Authors: Benjamin Aubin
• Abstract要約: 障害のあるシステムの統計物理学のツールに基づくアプローチを再検討する。 我々は、様々な理論モデルの位相図に光を放つために、複製法とメッセージパッシングアルゴリズムの深い接続に乗じる。
• 参考スコア（独自算出の注目度）: 5.406386303264086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main difficulty that arises in the analysis of most machine learning algorithms is to handle, analytically and numerically, a large number of interacting random variables. In this Ph.D manuscript, we revisit an approach based on the tools of statistical physics of disordered systems. Developed through a rich literature, they have been precisely designed to infer the macroscopic behavior of a large number of particles from their microscopic interactions. At the heart of this work, we strongly capitalize on the deep connection between the replica method and message passing algorithms in order to shed light on the phase diagrams of various theoretical models, with an emphasis on the potential differences between statistical and algorithmic thresholds. We essentially focus on synthetic tasks and data generated in the teacher-student paradigm. In particular, we apply these mean-field methods to the Bayes-optimal analysis of committee machines, to the worst-case analysis of Rademacher generalization bounds for perceptrons, and to empirical risk minimization in the context of generalized linear models. Finally, we develop a framework to analyze estimation models with structured prior informations, produced for instance by deep neural networks based generative models with random weights.
• Abstract（参考訳）: ほとんどの機械学習アルゴリズムの分析で生じる主な困難は、多数の相互作用するランダム変数を、解析的に、そして数値的に扱うことである。 この博士論文では、乱れたシステムの統計物理学のツールに基づいたアプローチを再検討する。 リッチな文献を通して開発され、多数の粒子のマクロな挙動を微視的相互作用から推測するように設計されている。 この研究の核心は、様々な理論モデルの位相図に光を当てるために、レプリカ法とメッセージパッシングアルゴリズムの深い関係を生かして、統計的閾値とアルゴリズム的しきい値の間の潜在的な差異を強調したものである。 基本的には、教師-学生パラダイムで生成された合成タスクとデータに焦点をあてる。 特に、これらの平均場法をベイズ最適解析に応用し、パーセプトロンに対するラデマチャー一般化境界を最悪のケースで解析し、一般化線形モデルの文脈における経験的リスク最小化を行う。 最後に,ニューラルネットワークを用いたランダム重み付き生成モデルを用いて,構造化事前情報を用いた推定モデルを解析するフレームワークを開発した。

関連論文リスト

• High-dimensional learning of narrow neural networks [1.7094064195431147]
  この原稿は、機械学習の最近の進歩の根底にあるツールとアイデアをレビューしている。 本稿では,これまで研究されてきたモデルを特殊インスタンスとして包含する汎用モデル(シーケンスマルチインデックスモデル)を提案する。 複製法や近似メッセージパッシングアルゴリズムなどの統計物理手法を用いて,シーケンス多重インデックスモデルの学習過程を詳細に解析する。
  論文  参考訳（メタデータ） (2024-09-20T21:20:04Z)
• Unified Explanations in Machine Learning Models: A Perturbation Approach [0.0]
  XAIとモデリング技術の不整合は、これらの説明可能性アプローチの有効性に疑念を投げかけるという望ましくない効果をもたらす可能性がある。 我々はXAI, SHapley Additive exPlanations (Shap) において, 一般的なモデルに依存しない手法に対する系統的摂動解析を提案する。 我々は、一般的な機械学習とディープラーニングの手法のスイートと、静的ケースホールドで生成された説明の正確さを定量化するためのメトリクスの中で、動的推論の設定において、相対的な特徴重要度を生成するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-05-30T16:04:35Z)
• Enhancing Multiscale Simulations with Constitutive Relations-Aware Deep Operator Networks [0.7946947383637114]
  マルチスケール有限要素計算は、マイクロ構造特性をマクロ計算解析に組み込む能力に期待されている。 マイクロスケール物理の代理モデリングにディープ・オペレーター・ネットワークを利用するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-05-22T15:40:05Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• RandomSCM: interpretable ensembles of sparse classifiers tailored for omics data [59.4141628321618]
  決定規則の結合や解離に基づくアンサンブル学習アルゴリズムを提案する。 モデルの解釈可能性により、高次元データのバイオマーカー発見やパターン発見に有用である。
  論文  参考訳（メタデータ） (2022-08-11T13:55:04Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Structured learning of rigid-body dynamics: A survey and unified view from a robotics perspective [5.597839822252915]
  剛体力学とデータ駆動モデリング技術を組み合わせた回帰モデルについて検討した。 我々は、ニューラルネットワークやガウス過程などのデータ駆動回帰モデルと分析モデル先行モデルの組み合わせに関する統一的な見解を提供する。
  論文  参考訳（メタデータ） (2020-12-11T11:26:48Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Information-theoretic limits of a multiview low-rank symmetric spiked matrix model [19.738567726658875]
  我々は、高次元推論問題の重要なクラス、すなわちスパイクされた対称行列モデルの一般化を考える。 シングルレター公式の証明を通じて情報理論の限界を厳格に確立する。 我々は最近導入された適応手法を改良し、低ランクモデルの研究に利用できるようにした。
  論文  参考訳（メタデータ） (2020-05-16T15:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。