論文の概要: Scalable Precise Computation of Shannon Entropy

• arxiv url: http://arxiv.org/abs/2502.01160v1
• Date: Mon, 03 Feb 2025 08:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:56:13.471523
• Title: Scalable Precise Computation of Shannon Entropy
• Title（参考訳）: シャノンエントロピーのスケーラブル高精度計算
• Authors: Yong Lai, Haolong Tong, Zhenghang Xu, Minghao Yin,
• Abstract要約: 本稿では、スケーラブルな精密ツールPSEを実装するために、Boolean制約でモデル化されたプログラムに焦点を当てる。 ADDANDはプログラムの可能な出力の列挙を回避し、トラクタブルエントロピーをサポートする。 PSEとEntropyEstimationの両方が解決したベンチマークの98%に対して、PSEはEntropyEstimationの少なくとも10倍の効率である。
• 参考スコア（独自算出の注目度）: 14.679456393070623
• License:
• Abstract: Quantitative information flow analyses (QIF) are a class of techniques for measuring the amount of confidential information leaked by a program to its public outputs. Shannon entropy is an important method to quantify the amount of leakage in QIF. This paper focuses on the programs modeled in Boolean constraints and optimizes the two stages of the Shannon entropy computation to implement a scalable precise tool PSE. In the first stage, we design a knowledge compilation language called \ADDAND that combines Algebraic Decision Diagrams and conjunctive decomposition. \ADDAND avoids enumerating possible outputs of a program and supports tractable entropy computation. In the second stage, we optimize the model counting queries that are used to compute the probabilities of outputs. We compare PSE with the state-of-the-art probably approximately correct tool EntropyEstimation, which was shown to significantly outperform the existing precise tools. The experimental results demonstrate that PSE solved 55 more benchmarks compared to EntropyEstimation in a total of 441. For 98% of the benchmarks that both PSE and EntropyEstimation solved, PSE is at least $10\times$ as efficient as EntropyEstimation.
• Abstract（参考訳）: 量的情報フロー分析(QIF)は、プログラムが公開出力にリークした機密情報の量を測定するための一連の手法である。 シャノンエントロピーはQIFの漏れ量を定量化する重要な方法である。 本稿では,ブール制約でモデル化されたプログラムに着目し,シャノンエントロピー計算の2段階を最適化し,スケーラブルな高精度ツールPSEを実装した。 最初の段階では,代数的決定図と結合分解を組み合わせた知識コンパイル言語 \ADDAND を設計する。 \ADDANDはプログラムの可能な出力の列挙を回避し、トラクタブルエントロピー計算をサポートする。 第2段階では、出力の確率を計算するために使用されるクエリをカウントするモデルを最適化する。 我々はPSEと、おそらくほぼ正しいツールであるEntropyEstimationを比較した。 実験の結果、PSEはEntropyEstimationと比較して合計441で55のベンチマークを解いた。 PSEとEntropyEstimationの両方が解決したベンチマークの98%に対して、PSEはEntropyEstimationの少なくとも10\times$である。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Optimising the relative entropy under semi definite constraints -- A new tool for estimating key rates in QKD [0.0]
  半定値制約の下で2つの量子状態の最小相対エントロピーを見つけることは重要な問題である。 この最適化に対処する手法を提供する。 我々は最近導入された P.E. Frenkel による量子相対エントロピーの積分表現の上に構築する。
  論文  参考訳（メタデータ） (2024-04-25T20:19:47Z)
• Mean field initialization of the Annealed Importance Sampling algorithm for an efficient evaluation of the Partition Function of Restricted Boltzmann Machines [0.0]
  Annealed Importance Smpling (AIS)は、システムのパーティション関数を推定するツールである。 本研究では,適切な選択した平均場開始確率分布を用いることで,推定の品質と計算コストを両立させることができることを示す。 計算コストが比較的低いAISを用いて分割関数を推定するには,これらがよい出発点である。
  論文  参考訳（メタデータ） (2024-04-17T10:22:03Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• A Learning-Based Optimal Uncertainty Quantification Method and Its Application to Ballistic Impact Problems [1.713291434132985]
  本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。 本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。 本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-28T14:30:53Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• CPnP: Consistent Pose Estimator for Perspective-n-Point Problem with Bias Elimination [10.099598169569383]
  バイアス除去を用いた一貫した解法emphCを提案する。 閉形式最小二乗解が得られた部分トラクションバイアスを解析する。 合成データと実画像の両方でテストしたところ,提案した推定器は,濃密な視覚的特徴を持つ画像に対して,よく知られた推定器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-09-13T09:00:58Z)
• Bayesian imaging using Plug & Play priors: when Langevin meets Tweedie [13.476505672245603]
  本稿では,ベイズ推定を事前に行うための理論,方法,および証明可能な収束アルゴリズムを開発する。 モンテカルロサンプリングとMMSEに対する-ULA(Unadjusted Langevin)アルゴリズム推論と、推論のための定量的SGD(Stochastic Gradient Descent)の2つのアルゴリズムを紹介します。 このアルゴリズムは、点推定や不確実性の可視化や規則性に使用される画像のノイズ除去、インペインティング、ノイズ除去などのいくつかの問題で実証されています。
  論文  参考訳（メタデータ） (2021-03-08T12:46:53Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。