論文の概要: The Franz-Parisi Criterion and Computational Trade-offs in High
Dimensional Statistics
- arxiv url: http://arxiv.org/abs/2205.09727v1
- Date: Thu, 19 May 2022 17:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 14:32:40.933970
- Title: The Franz-Parisi Criterion and Computational Trade-offs in High
Dimensional Statistics
- Title(参考訳): 高次元統計におけるフランツ・パリシ基準と計算トレードオフ
- Authors: Afonso S. Bandeira, Ahmed El Alaoui, Samuel B. Hopkins, Tselil
Schramm, Alexander S. Wein, Ilias Zadik
- Abstract要約: 本稿では,低次と自由エネルギーの異なるアプローチの厳密な接続を実現することを目的とする。
我々は、自由エネルギーに基づく硬度基準を定義し、それを高次硬度の概念に正式に結び付ける。
結果は、異なる硬さの概念間のつながりに関する概念的な洞察と、具体的な技術ツールの両方を提供する。
- 参考スコア(独自算出の注目度): 73.1090889521313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many high-dimensional statistical inference problems are believed to possess
inherent computational hardness. Various frameworks have been proposed to give
rigorous evidence for such hardness, including lower bounds against restricted
models of computation (such as low-degree functions), as well as methods rooted
in statistical physics that are based on free energy landscapes. This paper
aims to make a rigorous connection between the seemingly different low-degree
and free-energy based approaches. We define a free-energy based criterion for
hardness and formally connect it to the well-established notion of low-degree
hardness for a broad class of statistical problems, namely all Gaussian
additive models and certain models with a sparse planted signal. By leveraging
these rigorous connections we are able to: establish that for Gaussian additive
models the "algebraic" notion of low-degree hardness implies failure of
"geometric" local MCMC algorithms, and provide new low-degree lower bounds for
sparse linear regression which seem difficult to prove directly. These results
provide both conceptual insights into the connections between different notions
of hardness, as well as concrete technical tools such as new methods for
proving low-degree lower bounds.
- Abstract(参考訳): 多くの高次元統計推論問題は固有の計算困難性を持っていると考えられている。
このような硬さの厳密な証拠を与えるための様々なフレームワークが提案されている。例えば、制限された計算モデル(例えば低次関数)に対する下限や、自由エネルギーの風景に基づく統計物理学に根ざした手法などである。
本稿は,低次と自由エネルギーの異なるアプローチの厳密な接続を実現することを目的とする。
自由エネルギーに基づく硬さの基準を定め、より広い種類の統計問題、すなわちすべてのガウス加法モデルとスパース植込み信号のある特定のモデルに対して、より確立された低次硬さの概念と正式に結びつける。
これらの厳密な接続を利用することで、ガウスモデルの低次ハードネスの「代数的」概念は「幾何的」な局所mcmcアルゴリズムの失敗を暗示し、直接的に証明するのが困難であるように思える、スパース線形回帰のための新しい低次下界を提供する。
これらの結果は、硬さの異なる概念間のつながりに関する概念的洞察と、低次下界を証明するための新しい方法のような具体的な技術ツールの両方を提供する。
関連論文リスト
- Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。
この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
論文 参考訳(メタデータ) (2024-11-26T15:35:44Z) - Derivative-Free Diffusion Manifold-Constrained Gradient for Unified XAI [59.96044730204345]
微分自由拡散多様体制約勾配(FreeMCG)を導入する。
FreeMCGは、与えられたニューラルネットワークの説明可能性を改善する基盤として機能する。
提案手法は,XAIツールが期待する本質性を保ちながら,最先端の成果が得られることを示す。
論文 参考訳(メタデータ) (2024-11-22T11:15:14Z) - Estimating Shape Distances on Neural Representations with Limited
Samples [5.959815242044236]
我々は高次元形状推定のための厳密な統計理論を開発する。
この推定器は、特に高次元設定において、ニューラルネットワークシミュレーションデータよりも低いバイアスが得られることを示す。
論文 参考訳(メタデータ) (2023-10-09T14:16:34Z) - Energy Discrepancies: A Score-Independent Loss for Energy-Based Models [20.250792836049882]
本稿では,スコアの計算や高価なマルコフ連鎖モンテカルロの計算に頼らない新しい損失関数であるEnergy Discrepancy (ED)を提案する。
EDは明示的なスコアマッチングと負のログ類似損失に異なる限界でアプローチし,両者を効果的に補間することを示した。
論文 参考訳(メタデータ) (2023-07-12T19:51:49Z) - Divergence Frontiers for Generative Models: Sample Complexity,
Quantization Level, and Frontier Integral [58.434753643798224]
多様性フロンティアは生成モデルの評価フレームワークとして提案されている。
分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。
また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
論文 参考訳(メタデータ) (2021-06-15T06:26:25Z) - Physics-Guided Discovery of Highly Nonlinear Parametric Partial
Differential Equations [29.181177365252925]
科学データに適合する偏微分方程式(PDE)は、説明可能なメカニズムで物理法則を表現することができる。
本稿では,観測知識を符号化し,基本的な物理原理と法則を取り入れた物理誘導学習法を提案する。
実験の結果,提案手法はデータノイズに対してより頑健であり,推定誤差を大きなマージンで低減できることがわかった。
論文 参考訳(メタデータ) (2021-06-02T11:24:49Z) - GELATO: Geometrically Enriched Latent Model for Offline Reinforcement
Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。
本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。
提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文 参考訳(メタデータ) (2021-02-22T19:42:40Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳(メタデータ) (2020-04-30T11:52:12Z) - Community Detection and Stochastic Block Models [20.058330327502503]
幾何ブロックモデル(SBM)はクラスタリングとコミュニティ検出を研究するための標準モデルとして広く用いられている。
統計学やデータ科学で発生する情報理論と計算上のトレードオフを研究するための、肥大した基盤を提供する。
本書は、SBMにおけるコミュニティ検出の基本的な限界を確立する最近の発展について調査する。
論文 参考訳(メタデータ) (2017-03-29T17:21:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。