論文の概要: Fast and close Shannon entropy approximation

• arxiv url: http://arxiv.org/abs/2505.14234v1
• Date: Tue, 20 May 2025 11:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.142556
• Title: Fast and close Shannon entropy approximation
• Title（参考訳）: 高速閉シャノンエントロピー近似
• Authors: Illia Horenko, Davide Bassetti, Lukáš Pospíšil,
• Abstract要約: シャノンエントロピーとその勾配の非特異な有理近似は平均絶対誤差10-3$を達成する。 FEAは50ドル程度の高速計算を可能にし、5ドルから6ドル程度の初等計算処理しか必要としない。 機械学習における特徴選択問題に対する共通ベンチマークでは,基本演算の削減,近似誤差の低減,非特異勾配の併用がモデル品質を著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Shannon entropy (SE) and its quantum mechanical analogue von Neumann entropy are key components in many tools used in physics, information theory, machine learning (ML) and quantum computing. Besides of the significant amounts of SE computations required in these fields, the singularity of the SE gradient is one of the central mathematical reason inducing the high cost, frequently low robustness and slow convergence of such tools. Here we propose the Fast Entropy Approximation (FEA) - a non-singular rational approximation of Shannon entropy and its gradient that achieves a mean absolute error of $10^{-3}$, which is approximately $20$ times lower than comparable state-of-the-art methods. FEA allows around $50\%$ faster computation, requiring only $5$ to $6$ elementary computational operations, as compared to tens of elementary operations behind the fastest entropy computation algorithms with table look-ups, bitshifts, or series approximations. On a set of common benchmarks for the feature selection problem in machine learning, we show that the combined effect of fewer elementary operations, low approximation error, and a non-singular gradient allows significantly better model quality and enables ML feature extraction that is two to three orders of magnitude faster and computationally cheaper when incorporating FEA into AI tools.
• Abstract（参考訳）: シャノンエントロピー(SE)とその量子力学的アナログフォン・ノイマンエントロピー(英語版)は、物理学、情報理論、機械学習(ML)、量子コンピューティングで使われる多くのツールにおいて重要な構成要素である。 これらの分野で必要となる大量のSE計算に加えて、SE勾配の特異性は、高いコスト、しばしば低いロバスト性、そのようなツールの緩やかな収束を引き起こす中心的な数学的理由の1つである。 本稿では、シャノンエントロピーの非特異な有理近似であるFEA(Fast Entropy Approximation)を提案する。 FEAは、テーブルルックアップ、ビットシフト、および系列近似を含む最も高速なエントロピー計算アルゴリズムの背後にある数十の基本的な演算と比較して、5ドルから6ドル程度しか必要としない、約50\%の高速計算を可能にしている。 機械学習における特徴選択問題に対する共通ベンチマークでは,基本演算の削減,近似誤差の低減,非特異勾配の併用により,モデル品質が大幅に向上し,AIツールにFEAを組み込む場合の2～3桁のML特徴抽出が可能となった。

関連論文リスト

• Enabling Automatic Differentiation with Mollified Graph Neural Operators [75.3183193262225]
  本稿では,任意の測地上での自動微分とエンフェクサクタクティック勾配を計算するための最初の手法であるモリファイドグラフニューラル演算子 (mGNO) を提案する。 正規格子上のPDEの例では、mGNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。 また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
  論文  参考訳（メタデータ） (2025-04-11T06:16:30Z)
• Sublinear scaling in non-Markovian open quantum systems simulations [0.0]
  プロセステンソルを計算する数値的精度のアルゴリズムを導入する。 我々のアプローチでは、無限メモリを持つ環境に対して$mathcalO(nlog n)$の特異値分解しか必要としない。
  論文  参考訳（メタデータ） (2023-04-11T15:40:33Z)
• Towards provably efficient quantum algorithms for large-scale machine-learning models [11.440134080370811]
  我々は、フォールトトレラントな量子コンピューティングが、一般的な(確率的な)勾配降下アルゴリズムに対して、証明可能な効率のよい解決を提供する可能性を示している。 700万から1億3300万のパラメータから、大規模な機械学習モデルのインスタンスをベンチマークします。
  論文  参考訳（メタデータ） (2023-03-06T19:00:27Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• Preparation of excited states for nuclear dynamics on a quantum computer [117.44028458220427]
  量子コンピュータ上で励起状態を作成するための2つの異なる方法を研究する。 シミュレーションおよび実量子デバイス上でこれらの手法をベンチマークする。 これらの結果から,フォールトトレラントデバイスに優れたスケーリングを実現するために設計された量子技術が,接続性やゲート忠実性に制限されたデバイスに実用的なメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-28T17:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。