論文の概要: A unifying tutorial on Approximate Message Passing
- arxiv url: http://arxiv.org/abs/2105.02180v1
- Date: Wed, 5 May 2021 16:47:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 06:40:36.483743
- Title: A unifying tutorial on Approximate Message Passing
- Title(参考訳): Approximate Message Passingに関する統一チュートリアル
- Authors: Oliver Y. Feng, Ramji Venkataramanan, Cynthia Rush and Richard J.
Samworth
- Abstract要約: 統計的観点から、近似メッセージパッシング(AMP)アルゴリズムの主なアイデアを紹介します。
その過程で, 既存の文献における結果の多くを強化し, 統一する。
- 参考スコア(独自算出の注目度): 22.691623651741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the last decade or so, Approximate Message Passing (AMP) algorithms have
become extremely popular in various structured high-dimensional statistical
problems. The fact that the origins of these techniques can be traced back to
notions of belief propagation in the statistical physics literature lends a
certain mystique to the area for many statisticians. Our goal in this work is
to present the main ideas of AMP from a statistical perspective, to illustrate
the power and flexibility of the AMP framework. Along the way, we strengthen
and unify many of the results in the existing literature.
- Abstract(参考訳): 過去10年ほどにわたり、近似メッセージパッシング(amp)アルゴリズムは様々な構造化高次元統計問題で非常に人気を集めている。
これらの技術の起源は、統計物理学の文献における信念の伝播の概念に遡ることができるという事実は多くの統計学者にとってこの領域にある種の神秘を与える。
この研究の目標は、AMPフレームワークのパワーと柔軟性を説明するために、統計的な観点からAMPの主なアイデアを示すことです。
その過程で, 既存の文献における結果の多くを強化し, 統一する。
関連論文リスト
- Statistical Inference with Limited Memory: A Survey [25.1915733653691]
いくつかの標準問題において,メモリ制約下での統計的推論の現状を概観する。
本稿では,この開発分野の主な成果について論じるとともに,再帰的なテーマを同定することにより,アルゴリズム構築のための基本的な構成要素を抽出する。
論文 参考訳(メタデータ) (2023-12-23T11:14:33Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery [76.35226130521758]
我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-03-28T13:47:16Z) - A Review of Adversarial Attack and Defense for Classification Methods [78.50824774203495]
本稿では,敵対的事例の生成と保護に焦点をあてる。
この論文は、多くの統計学者が、この重要かつエキサイティングな分野において、敵の事例を生成・防御することを奨励するものである。
論文 参考訳(メタデータ) (2021-11-18T22:13:43Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳(メタデータ) (2021-09-24T07:20:13Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳(メタデータ) (2021-07-02T15:20:41Z) - Adversarial Mutual Information for Text Generation [62.974883143784616]
本稿では,テキスト生成フレームワーク(AMI:Adversarial Mutual Information)を提案する。
AMIは、ソースとターゲット間の共同相互作用を特定することを目的とした、新しいサドル点(min-max)最適化として形成される。
AMIは、最大相互情報のより狭い範囲に導かれる可能性があることを示す。
論文 参考訳(メタデータ) (2020-06-30T19:11:51Z) - Consistency of Empirical Bayes And Kernel Flow For Hierarchical
Parameter Estimation [18.852474191260445]
本稿では,階層的パラメータを学習する2つのパラダイムについて考察する。
一つは確率ベイズ的視点、特に経験的ベイズ的アプローチからである。
もう1つは、決定論的および近似論的視点、特にカーネルフローアルゴリズムからのものである。
論文 参考訳(メタデータ) (2020-05-22T20:17:48Z) - rTop-k: A Statistical Estimation Approach to Distributed SGD [5.197307534263253]
トップkとランダムkのスパーシフィケーション手法は, いずれの手法も単独で適用した場合, 連続的に, 顕著に優れていることを示す。
本稿では,空間性および統計的に最適な通信方式を捉える勾配の簡易な統計的推定モデルを提案する。
CIFAR-10, ImageNet, および Penn Treebank のデータセットを用いて画像領域と言語領域に関する広範な実験を行い、これらの2つのスパーシフィケーション手法のスキュードな適用は、いずれの手法も単独で適用した場合に著しく優れることを示した。
論文 参考訳(メタデータ) (2020-05-21T16:27:46Z) - Rigorous State Evolution Analysis for Approximate Message Passing with
Side Information [15.90775344965397]
サイド情報をAMP-SI(Adroximate Message Passing with Side Information)に組み込んだ新しいフレームワークが導入された。
信号とSIペアの間に統計的依存関係がある場合、AMP-SIに対して厳密な性能保証を提供する。
AMP-SI平均二乗誤差を精度良く予測できることを示す。
論文 参考訳(メタデータ) (2020-03-25T16:11:18Z) - Multi-parameter estimation beyond Quantum Fisher Information [0.0]
本稿では,Holevo Cram'er-Rao境界,Quantum Local Asymptotic Normalityアプローチ,ベイズ法について詳しく論じる。
このレビューの主な目的の1つは、読者が導出のほとんどを従えるように、ほぼ自己完結した作品を提供することである。
論文 参考訳(メタデータ) (2020-01-31T10:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。