論文の概要: Semantic Variational Bayes Based on a Semantic Information Theory for Solving Latent Variables
- arxiv url: http://arxiv.org/abs/2408.13122v1
- Date: Mon, 12 Aug 2024 03:23:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-01 17:02:13.107842
- Title: Semantic Variational Bayes Based on a Semantic Information Theory for Solving Latent Variables
- Title(参考訳): 潜在変数解決のための意味情報理論に基づく意味的変分ベイズ
- Authors: Chenguang Lu,
- Abstract要約: 本稿では,セマンティック変分ベイズ法(SVB)を提案する。
先述したセマンティック情報理論は、レート歪み関数 R(D) をレート忠実関数 R(G) に拡張する。
- 参考スコア(独自算出の注目度): 0.7252027234425334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Variational Bayesian method (VB) is used to solve the probability distributions of latent variables with the minimum free energy criterion. This criterion is not easy to understand, and the computation is complex. For these reasons, this paper proposes the Semantic Variational Bayes' method (SVB). The Semantic Information Theory the author previously proposed extends the rate-distortion function R(D) to the rate-fidelity function R(G), where R is the minimum mutual information for given semantic mutual information G. SVB came from the parameter solution of R(G), where the variational and iterative methods originated from Shannon et al.'s research on the rate-distortion function. The constraint functions SVB uses include likelihood, truth, membership, similarity, and distortion functions. SVB uses the maximum information efficiency (G/R) criterion, including the maximum semantic information criterion for optimizing model parameters and the minimum mutual information criterion for optimizing the Shannon channel. For the same tasks, SVB is computationally simpler than VB. The computational experiments in the paper include 1) using a mixture model as an example to show that the mixture model converges as G/R increases; 2) demonstrating the application of SVB in data compression with a group of error ranges as the constraint; 3) illustrating how the semantic information measure and SVB can be used for maximum entropy control and reinforcement learning in control tasks with given range constraints, providing numerical evidence for balancing control's purposiveness and efficiency. Further research is needed to apply SVB to neural networks and deep learning.
- Abstract(参考訳): 変分ベイズ法(VB)は、最小自由エネルギー基準で潜在変数の確率分布を解くために用いられる。
この基準は理解しづらいものであり、計算は複雑である。
そこで本研究では,セマンティック変分ベイズ法(SVB)を提案する。
先述したセマンティック情報理論は、レート歪み関数 R(D) を、与えられた意味的相互情報 G に対する最小の相互情報であるレート歪み関数 R(G) に拡張する。
SVBが使用する制約関数には、可能性、真理、メンバーシップ、類似性、歪み関数がある。
SVBは、モデルパラメータを最適化する最大意味情報基準と、シャノンチャネルを最適化する最小相互情報基準とを含む最大情報効率(G/R)基準を使用する。
同じタスクでは、SVBはVBよりも計算がシンプルである。
論文における計算実験には
1) 混合モデルを例として用いて, G/Rが増加するにつれて混合モデルが収束することを示す。
2)データ圧縮におけるSVBの適用を制約としてエラー範囲のグループで実証すること。
3)所定の範囲の制約のある制御タスクにおいて,最大エントロピー制御と強化学習に意味情報尺度とSVBをどのように利用できるかを示し,制御のパーポーブネスと効率のバランスをとるための数値的証拠を提供する。
ニューラルネットワークとディープラーニングにSVBを適用するには、さらなる研究が必要である。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳(メタデータ) (2024-06-17T12:24:45Z) - Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳(メタデータ) (2023-09-08T16:32:47Z) - Nonconvex Stochastic Bregman Proximal Gradient Method with Application
to Deep Learning [6.807786746803371]
微分可能部のスムーズな近似のみを必要とするBregman Bregman法(SBPG)の家系について検討する。
MSBPGは、計算において普遍的なオープンソースとして使われる可能性がある。
論文 参考訳(メタデータ) (2023-06-26T08:54:46Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳(メタデータ) (2022-11-17T15:48:06Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳(メタデータ) (2022-02-08T19:18:49Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z) - AsySQN: Faster Vertical Federated Learning Algorithms with Better
Computation Resource Utilization [159.75564904944707]
垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。
提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。
本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
論文 参考訳(メタデータ) (2021-09-26T07:56:10Z) - Causal Order Identification to Address Confounding: Binary Variables [4.56877715768796]
本稿では,線形非ガウス非巡回モデル(LiNGAM)の拡張について考察する。
LiNGAMは、変数が雑音を含む一連の線形方程式で表されるとき、データセットから変数間の因果順序を決定する。
論文 参考訳(メタデータ) (2021-08-10T22:09:43Z) - Local approximate Gaussian process regression for data-driven
constitutive laws: Development and comparison with neural networks [0.0]
局所近似過程回帰を用いて特定のひずみ空間における応力出力を予測する方法を示す。
FE設定におけるグローバル構造問題を解決する場合のlaGPR近似の局所的性質に適応するために、修正されたニュートン・ラフソン手法が提案される。
論文 参考訳(メタデータ) (2021-05-07T14:49:28Z) - Mixed Variable Bayesian Optimization with Frequency Modulated Kernels [96.78099706164747]
異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案する。
BO-FMは正規化進化(RE)およびBOHBを含む競争相手を上回ります。
論文 参考訳(メタデータ) (2021-02-25T11:28:46Z) - Batch greedy maximization of non-submodular functions: Guarantees and
applications to experimental design [0.0]
非部分モジュラーな非退化集合関数の濃度制約に対するグリーディを解析する。
我々の理論的保証は、部分モジュラリティと超モジュラリティ比の組み合わせによって特徴づけられる。
論文 参考訳(メタデータ) (2020-06-03T18:58:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。