論文の概要: Bayesian brains and the R\'enyi divergence

• arxiv url: http://arxiv.org/abs/2107.05438v1
• Date: Mon, 12 Jul 2021 14:14:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 19:31:58.941970
• Title: Bayesian brains and the R\'enyi divergence
• Title（参考訳）: ベイズ脳とR'enyi発散
• Authors: Noor Sajid and Francesco Faccio and Lancelot Da Costa and Thomas Parr and J\"urgen Schmidhuber and Karl Friston
• Abstract要約: ベイズ脳仮説の下では、振る舞いの変動は生成的モデルパラメータよりも様々な先行に起因している。 ここでは、R'enyiの発散とその関連する変動境界を用いた行動変数の代替的説明を提供する。
• 参考スコア（独自算出の注目度）: 1.9573380763700712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Under the Bayesian brain hypothesis, behavioural variations can be attributed to different priors over generative model parameters. This provides a formal explanation for why individuals exhibit inconsistent behavioural preferences when confronted with similar choices. For example, greedy preferences are a consequence of confident (or precise) beliefs over certain outcomes. Here, we offer an alternative account of behavioural variability using R\'enyi divergences and their associated variational bounds. R\'enyi bounds are analogous to the variational free energy (or evidence lower bound) and can be derived under the same assumptions. Importantly, these bounds provide a formal way to establish behavioural differences through an $\alpha$ parameter, given fixed priors. This rests on changes in $\alpha$ that alter the bound (on a continuous scale), inducing different posterior estimates and consequent variations in behaviour. Thus, it looks as if individuals have different priors, and have reached different conclusions. More specifically, $\alpha \to 0^{+}$ optimisation leads to mass-covering variational estimates and increased variability in choice behaviour. Furthermore, $\alpha \to + \infty$ optimisation leads to mass-seeking variational posteriors and greedy preferences. We exemplify this formulation through simulations of the multi-armed bandit task. We note that these $\alpha$ parameterisations may be especially relevant, i.e., shape preferences, when the true posterior is not in the same family of distributions as the assumed (simpler) approximate density, which may be the case in many real-world scenarios. The ensuing departure from vanilla variational inference provides a potentially useful explanation for differences in behavioural preferences of biological (or artificial) agents under the assumption that the brain performs variational Bayesian inference.
• Abstract（参考訳）: ベイズ脳仮説の下では、行動の変動は生成モデルパラメータの異なる先行性によって引き起こされる。 これは、なぜ個人が類似の選択に直面した時に一貫性のない行動選択を示すのかという正式な説明を提供する。 例えば、欲求は特定の結果に対する自信(または正確な)の帰結である。 ここでは、R'enyiの発散とその関連する変動境界を用いた行動変数の代替的説明を提供する。 R'enyi 境界は変分自由エネルギー(または証拠下界)と類似しており、同じ仮定の下で導出することができる。 重要なことに、これらの境界は固定前置値が与えられた$\alpha$パラメータを通じて振る舞いの違いを確立するための形式的な方法を提供する。 これは、(連続的なスケールで)境界を変更する$\alpha$の変化に依拠し、異なる後続推定とそれに伴う振る舞いの変化を引き起こす。 このように、個人は異なる先行性を持ち、異なる結論に達したように見える。 より具体的には、$\alpha \to 0^{+}$ 最適化は、質量的変動推定と選択行動の変動性を高める。 さらに、$\alpha \to + \infty$ の最適化は、質量探索のばらつきの後部や欲求に繋がる。 マルチアームバンディットタスクのシミュレーションにより,この定式化を実証する。 これらの$\alpha$ のパラメータ化は特に関係があり、すなわち、真の後方が仮定された(より単純な)近似密度と同じ分布族にない場合、多くの実世界のシナリオでそうであるかもしれない。 バニラ変分推論からの次の離脱は、脳が変分ベイズ推論を行うという仮定の下で、生物学的(または人工的な)エージェントの行動嗜好の違いについて潜在的に有用な説明を与える。

関連論文リスト

• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• Environment Invariant Linear Least Squares [18.387614531869826]
  本稿では,複数の実験環境からのデータを収集する多環境線形回帰モデルについて考察する。 線形最小二乗回帰のマルチ環境バージョンである、新しい環境不変線形最小二乗関数(EILLS)を構築する。
  論文  参考訳（メタデータ） (2023-03-06T13:10:54Z)
• Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
  本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。 摂動を事前分布関数によるランダム変数として扱う。 収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
  論文  参考訳（メタデータ） (2023-01-21T00:21:11Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• On the Robustness to Misspecification of $\alpha$-Posteriors and Their Variational Approximations [12.52149409594807]
  $alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。 このような歪みが適切に調整されると、潜在的なパラメトリックモデルの誤仕様がある場合、Kulback-Leibler (KL) の真の分散が、おそらく実現不可能な、後方分布が減少することを示した。
  論文  参考訳（メタデータ） (2021-04-16T19:11:53Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• An Analysis of the Adaptation Speed of Causal Models [80.77896315374747]
  最近、Bengioらは、すべての候補モデルの中で、$G$は、あるデータセットから別のデータセットに適応する最速のモデルであると推測した。 最適化からの収束率を用いた原因影響SCMの適応速度について検討する。 驚くべきことに、私たちは反因果モデルが有利である状況を見つけ、初期仮説を偽造する。
  論文  参考訳（メタデータ） (2020-05-18T23:48:56Z)
• Variational Inference as Iterative Projection in a Bayesian Hilbert Space with Application to Robotic State Estimation [14.670851095242451]
  変分ベイズ推論は統計学からロボット工学への応用を見つける重要な機械学習ツールである。 KLの発散に基づく変分推論は、ユークリッドの意味では、選択された近似族に対応する部分空間へのベイズ後方の反復射影に等しいことを示す。
  論文  参考訳（メタデータ） (2020-05-14T21:33:31Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。