論文の概要: Data-Driven Optimization of Directed Information over Discrete Alphabets
- arxiv url: http://arxiv.org/abs/2301.00621v1
- Date: Mon, 2 Jan 2023 12:25:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 16:28:56.263823
- Title: Data-Driven Optimization of Directed Information over Discrete Alphabets
- Title（参考訳）: 離散アルファベットを用いた有向情報のデータ駆動最適化
- Authors: Dor Tsur, Ziv Aharoni, Ziv Goldfeld and Haim Permuter
- Abstract要約: 方向性情報(DI)は、逐次解析モデルの研究と分析のための基本的な尺度である。
離散入力空間上でのDIのための新しい推定最適化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.372626012233736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Directed information (DI) is a fundamental measure for the study and analysis
of sequential stochastic models. In particular, when optimized over input
distributions it characterizes the capacity of general communication channels.
However, analytic computation of DI is typically intractable and existing
optimization techniques over discrete input alphabets require knowledge of the
channel model, which renders them inapplicable when only samples are available.
To overcome these limitations, we propose a novel estimation-optimization
framework for DI over discrete input spaces. We formulate DI optimization as a
Markov decision process and leverage reinforcement learning techniques to
optimize a deep generative model of the input process probability mass function
(PMF). Combining this optimizer with the recently developed DI neural
estimator, we obtain an end-to-end estimation-optimization algorithm which is
applied to estimating the (feedforward and feedback) capacity of various
discrete channels with memory. Furthermore, we demonstrate how to use the
optimized PMF model to (i) obtain theoretical bounds on the feedback capacity
of unifilar finite-state channels; and (ii) perform probabilistic shaping of
constellations in the peak power-constrained additive white Gaussian noise
channel.
- Abstract（参考訳）: Directed Information (DI) は、逐次確率モデルの研究と解析のための基本的な尺度である。
特に、入力分布に最適化された場合、一般的な通信チャネルの容量を特徴付ける。
しかし、DIの解析計算は典型的には難解であり、離散的な入力アルファベットに対する既存の最適化手法ではチャネルモデルに関する知識が必要であり、サンプルが利用可能であれば適用できない。
これらの制約を克服するために,離散入力空間上のdiに対する新しい推定最適化フレームワークを提案する。
我々は, マルコフ決定過程としてdi最適化を定式化し, 強化学習手法を用いて入力過程確率質量関数(pmf)の深い生成モデルを最適化する。
このオプティマイザと最近開発されたdiニューラルネットワーク推定器を組み合わせることで、様々な離散チャネルの容量をメモリで推定するエンド・ツー・エンド推定最適化アルゴリズムを得る。
さらに、最適化されたPMFモデルをどう使うかを示す。
(i)単相有限状態チャネルのフィードバック容量に関する理論的境界を得る。
(ii)ピークパワー制約付き白色ガウスノイズチャネルにおける星座の確率的形状形成を行う。
関連論文リスト
- The Nature of Mathematical Modeling and Probabilistic Optimization Engineering in Generative AI [0.0]
我々は、生成AIモデルのいくつかの重要な基盤技術に対して、アート手法の現在の状況に対するさらなる拡張の可能性を探究し、議論する。
特に、バイトペア符号化(BPE)アルゴリズムと同様の初期設定に基づくサブワード符号化(SWE)の最適解を提案する。
論文 参考訳（メタデータ） (2024-10-24T05:29:20Z) - Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-04-16T20:01:10Z) - Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。
新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
論文 参考訳（メタデータ） (2024-01-30T14:16:06Z) - Simulation Based Bayesian Optimization [0.6526824510982799]
本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。
SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。
代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
論文 参考訳（メタデータ） (2024-01-19T16:56:11Z) - Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳（メタデータ） (2021-08-27T19:03:32Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:04:27Z) - An AI-Assisted Design Method for Topology Optimization Without
Pre-Optimized Training Data [68.8204255655161]
トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。
設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
論文 参考訳（メタデータ） (2020-12-11T14:33:27Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。