論文の概要: Semantic Variational Bayes Based on a Semantic Information Theory for Solving Latent Variables
- arxiv url: http://arxiv.org/abs/2408.13122v1
- Date: Mon, 12 Aug 2024 03:23:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-01 17:02:13.107842
- Title: Semantic Variational Bayes Based on a Semantic Information Theory for Solving Latent Variables
- Title（参考訳）: 潜在変数解決のための意味情報理論に基づく意味的変分ベイズ
- Authors: Chenguang Lu,
- Abstract要約: 本稿では,セマンティック変分ベイズ法(SVB)を提案する。
先述したセマンティック情報理論は、レート歪み関数 R(D) をレート忠実関数 R(G) に拡張する。
- 参考スコア（独自算出の注目度）: 0.7252027234425334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Variational Bayesian method (VB) is used to solve the probability distributions of latent variables with the minimum free energy criterion. This criterion is not easy to understand, and the computation is complex. For these reasons, this paper proposes the Semantic Variational Bayes' method (SVB). The Semantic Information Theory the author previously proposed extends the rate-distortion function R(D) to the rate-fidelity function R(G), where R is the minimum mutual information for given semantic mutual information G. SVB came from the parameter solution of R(G), where the variational and iterative methods originated from Shannon et al.'s research on the rate-distortion function. The constraint functions SVB uses include likelihood, truth, membership, similarity, and distortion functions. SVB uses the maximum information efficiency (G/R) criterion, including the maximum semantic information criterion for optimizing model parameters and the minimum mutual information criterion for optimizing the Shannon channel. For the same tasks, SVB is computationally simpler than VB. The computational experiments in the paper include 1) using a mixture model as an example to show that the mixture model converges as G/R increases; 2) demonstrating the application of SVB in data compression with a group of error ranges as the constraint; 3) illustrating how the semantic information measure and SVB can be used for maximum entropy control and reinforcement learning in control tasks with given range constraints, providing numerical evidence for balancing control's purposiveness and efficiency. Further research is needed to apply SVB to neural networks and deep learning.
- Abstract（参考訳）: 変分ベイズ法(VB)は、最小自由エネルギー基準で潜在変数の確率分布を解くために用いられる。
この基準は理解しづらいものであり、計算は複雑である。
そこで本研究では,セマンティック変分ベイズ法(SVB)を提案する。
先述したセマンティック情報理論は、レート歪み関数 R(D) を、与えられた意味的相互情報 G に対する最小の相互情報であるレート歪み関数 R(G) に拡張する。
SVBが使用する制約関数には、可能性、真理、メンバーシップ、類似性、歪み関数がある。
SVBは、モデルパラメータを最適化する最大意味情報基準と、シャノンチャネルを最適化する最小相互情報基準とを含む最大情報効率(G/R)基準を使用する。
同じタスクでは、SVBはVBよりも計算がシンプルである。
論文における計算実験には
1) 混合モデルを例として用いて, G/Rが増加するにつれて混合モデルが収束することを示す。
2)データ圧縮におけるSVBの適用を制約としてエラー範囲のグループで実証すること。
3)所定の範囲の制約のある制御タスクにおいて,最大エントロピー制御と強化学習に意味情報尺度とSVBをどのように利用できるかを示し,制御のパーポーブネスと効率のバランスをとるための数値的証拠を提供する。
ニューラルネットワークとディープラーニングにSVBを適用するには、さらなる研究が必要である。
関連論文リスト
- Structural Entropy Guided Probabilistic Coding [52.01765333755793]
構造エントロピー誘導型確率的符号化モデルSEPCを提案する。
我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。
分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-12T00:37:53Z) - Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Semantic Information G Theory for Range Control with Tradeoff between Purposiveness and Efficiency [0.7252027234425334]
本稿では,意味情報G測度とR(G)関数のパラメトリック解を紹介する。
R(G)関数はIMM法の理論的基礎として機能するが、深層学習、強化学習、制約制御と組み合わせてさらなる研究が必要である。
論文 参考訳（メタデータ） (2024-10-19T08:43:49Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳（メタデータ） (2023-09-08T16:32:47Z) - Nonconvex Stochastic Bregman Proximal Gradient Method with Application to Deep Learning [9.202586157819693]
非合成対象函数のロバスト性を最小化する二次法は、典型的には微分可能部分のリプシッツ滑らか性に依存する。
本稿では適応性のみを考慮したBregman(SBPG)手法のファミリーを提案する。
MSBPGは運動量に基づく変種であり、ミニバッチサイズ要求を緩和することで収束感度を高める。
論文 参考訳（メタデータ） (2023-06-26T08:54:46Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - AsySQN: Faster Vertical Federated Learning Algorithms with Better
Computation Resource Utilization [159.75564904944707]
垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。
提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。
本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
論文 参考訳（メタデータ） (2021-09-26T07:56:10Z) - Causal Order Identification to Address Confounding: Binary Variables [4.56877715768796]
本稿では,線形非ガウス非巡回モデル(LiNGAM)の拡張について考察する。
LiNGAMは、変数が雑音を含む一連の線形方程式で表されるとき、データセットから変数間の因果順序を決定する。
論文 参考訳（メタデータ） (2021-08-10T22:09:43Z) - Local approximate Gaussian process regression for data-driven
constitutive laws: Development and comparison with neural networks [0.0]
局所近似過程回帰を用いて特定のひずみ空間における応力出力を予測する方法を示す。
FE設定におけるグローバル構造問題を解決する場合のlaGPR近似の局所的性質に適応するために、修正されたニュートン・ラフソン手法が提案される。
論文 参考訳（メタデータ） (2021-05-07T14:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。