論文の概要: Bayesian Inference with Nonlinear Generative Models: Comments on Secure Learning

• arxiv url: http://arxiv.org/abs/2201.09986v1
• Date: Wed, 19 Jan 2022 08:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-30 11:23:00.677090
• Title: Bayesian Inference with Nonlinear Generative Models: Comments on Secure Learning
• Title（参考訳）: 非線形生成モデルによるベイズ推論:セキュア学習へのコメント
• Authors: Ali Bereyhi and Bruno Loureiro and Florent Krzakala and Ralf R. M\"uller and Hermann Schulz-Baldes
• Abstract要約: この研究は非線形生成モデルとその秘密ポテンシャルに注意を向けることを目的としている。 逆確率問題における正規化クロスエントロピーを導出するためにレプリカ法を導出する。 通信路の秘密化を実現するセキュアな符号化方式を提案する。
• 参考スコア（独自算出の注目度）: 29.818395770651865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike the classical linear model, nonlinear generative models have been addressed sparsely in the literature. This work aims to bring attention to these models and their secrecy potential. To this end, we invoke the replica method to derive the asymptotic normalized cross entropy in an inverse probability problem whose generative model is described by a Gaussian random field with a generic covariance function. Our derivations further demonstrate the asymptotic statistical decoupling of Bayesian inference algorithms and specify the decoupled setting for a given nonlinear model. The replica solution depicts that strictly nonlinear models establish an all-or-nothing phase transition: There exists a critical load at which the optimal Bayesian inference changes from being perfect to an uncorrelated learning. This finding leads to design of a new secure coding scheme which achieves the secrecy capacity of the wiretap channel. The proposed coding has a significantly smaller codebook size compared to the random coding scheme of Wyner. This interesting result implies that strictly nonlinear generative models are perfectly secured without any secure coding. We justify this latter statement through the analysis of an illustrative model for perfectly secure and reliable inference.
• Abstract（参考訳）: 古典的線形モデルとは異なり、非線形生成モデルは文学においてわずかに扱われている。 この研究は、これらのモデルとその秘密性に注意を向けることを目的としている。 この目的のために, 一般化共分散関数を持つガウス確率場により生成モデルを記述する逆確率問題において, 漸近正規化クロスエントロピーを導出するレプリカ法を導出する。 この導出はベイズ推論アルゴリズムの漸近的統計的デカップリングを示し、与えられた非線形モデルのデカップリング設定を指定する。 レプリカの解は、厳密な非線形モデルが全てまたはなしの相転移を確立することを描いている: 最適なベイズ推論が完全から非相関学習に変化する重要な負荷が存在する。 この発見は、盗聴チャネルの機密性を実現するための新しいセキュアな符号化方式の設計につながる。 提案した符号化は、Wynerのランダムな符号化方式に比べて、コードブックサイズがかなり小さい。 この興味深い結果は、厳密な非線形生成モデルはセキュアな符号化なしに完全に安全であることを示している。 後者のステートメントは、完全に安全で信頼できる推論のための説明モデルの分析を通じて正当化します。

関連論文リスト

• Continuous Bayesian Model Selection for Multivariate Causal Discovery [22.945274948173182]
  現在の因果的発見アプローチは、構造的識別可能性を確保するために、限定的なモデル仮定や介入データへのアクセスを必要とする。 近年の研究では、ベイズモデルの選択はより柔軟な仮定のために制限的モデリングを交換することで精度を大幅に向上させることができることが示されている。 合成データセットと実世界のデータセットの両方において、我々のアプローチの競争力を実証する。
  論文  参考訳（メタデータ） (2024-11-15T12:55:05Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A Metalearned Neural Circuit for Nonparametric Bayesian Inference [4.767884267554628]
  機械学習の分類への応用のほとんどは、バランスの取れたクラスの閉じた集合を前提としている。 これは、クラス発生統計が長い尾の力量分布に従うことがしばしばある実世界と矛盾する。 本研究では,非パラメトリックベイズモデルから誘導バイアスを抽出し,人工ニューラルネットワークに転送する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-24T16:43:17Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Towards a Unified Framework for Uncertainty-aware Nonlinear Variable Selection with Theoretical Guarantees [2.1506382989223782]
  モデル不確実性を含む非線形変数選択のためのシンプルで統一的なフレームワークを開発する。 この手法は木アンサンブルのような微分不可能なモデルに対しても一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-15T02:12:00Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Combining Gaussian processes and polynomial chaos expansions for stochastic nonlinear model predictive control [0.0]
  最適制御問題の時間不変不確かさを明示的に考慮する新しいアルゴリズムを提案する。 本稿では, 非線形変換の平均および分散推定値を得るために, この組み合わせを効率的に利用することを提案する。 最適制御問題に対する確率的目標と確率的制約の両方を定式化する方法を示す。
  論文  参考訳（メタデータ） (2021-03-09T14:25:08Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Uncertainty Modelling in Risk-averse Supply Chain Systems Using Multi-objective Pareto Optimization [0.0]
  サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。 我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
  論文  参考訳（メタデータ） (2020-04-24T21:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。