論文の概要: Fast Mutual Information Computation for Large Binary Datasets

• arxiv url: http://arxiv.org/abs/2411.19702v1
• Date: Fri, 29 Nov 2024 13:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:18:14.478010
• Title: Fast Mutual Information Computation for Large Binary Datasets
• Title（参考訳）: 大規模バイナリデータセットのための高速相互情報計算
• Authors: Andre O. Falcao,
• Abstract要約: 相互情報(MI)は、確率変数間の共有情報を定量化する強力な統計測度である。 計算MIは、一般にペアの計算アプローチを必要とする大規模なデータセットでは計算が禁止される。 本研究では,ベクトル化演算と最適化行列計算を利用してMI計算を高速化する行列ベースのアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Mutual Information (MI) is a powerful statistical measure that quantifies shared information between random variables, particularly valuable in high-dimensional data analysis across fields like genomics, natural language processing, and network science. However, computing MI becomes computationally prohibitive for large datasets where it is typically required a pairwise computational approach where each column is compared to others. This work introduces a matrix-based algorithm that accelerates MI computation by leveraging vectorized operations and optimized matrix calculations. By transforming traditional pairwise computational approaches into bulk matrix operations, the proposed method enables efficient MI calculation across all variable pairs. Experimental results demonstrate significant performance improvements, with computation times reduced up to 50,000 times in the largest dataset using optimized implementations, particularly when utilizing hardware optimized frameworks. The approach promises to expand MI's applicability in data-driven research by overcoming previous computational limitations.
• Abstract（参考訳）: 相互情報(MI)は、確率変数間の共有情報を定量化する強力な統計測度であり、特にゲノム学、自然言語処理、ネットワーク科学などの分野にわたる高次元データ解析において有用である。 しかし、MI計算は、通常、各列を他の列と比較するペアワイズ計算アプローチを必要とする大規模なデータセットでは計算が禁止される。 本研究では,ベクトル化演算と最適化行列計算を利用してMI計算を高速化する行列ベースのアルゴリズムを提案する。 従来のペアワイズ計算手法をバルク行列演算に変換することにより, 提案手法は, 全ての変数対にまたがる効率的なMI計算を可能にする。 実験の結果、特にハードウェア最適化フレームワークを使用する場合、最大のデータセットでは、計算時間を最大5万倍に短縮するなど、大幅なパフォーマンス向上が示されている。 このアプローチは、以前の計算制限を克服することで、データ駆動型研究におけるMIの適用性を拡大することを約束する。

関連論文リスト

• Randomized Dimension Reduction with Statistical Guarantees [0.27195102129095]
  この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。 一般化と分散性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに着目する。 具体的には、第4章では、データ拡張整合正則化のための複雑性分析のサンプルを提示する。
  論文  参考訳（メタデータ） (2023-10-03T02:01:39Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• AxOMaP: Designing FPGA-based Approximate Arithmetic Operators using Mathematical Programming [2.898055875927704]
  FPGAの近似演算子を合成するための,データ解析による数学的プログラミングに基づく手法を提案する。 具体的には、特徴量データの相関解析の結果に基づいて、混合整数の2次制約付きプログラムを定式化する。 従来の進化的アルゴリズムによる最適化と比較して,PPAとBEHAVの併用最適化において,ハイパーボリュームの最大21%の改善が報告されている。
  論文  参考訳（メタデータ） (2023-09-23T18:23:54Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• Scalable Batch Acquisition for Deep Bayesian Active Learning [70.68403899432198]
  ディープラーニングでは、各ステップでマークアップする複数の例を選択することが重要です。 BatchBALDのような既存のソリューションでは、多くの例を選択する際に大きな制限がある。 本稿では,より計算効率のよいLarge BatchBALDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-13T11:45:17Z)
• Dual Optimization for Kolmogorov Model Learning Using Enhanced Gradient Descent [8.714458129632158]
  コルモゴロフモデル(コルモゴロフモデル、英: Kolmogorov model、KM)は、確率変数の集合の基本的な確率構造を学ぶための解釈可能で予測可能な表現手法である。 正規化双対最適化と拡張勾配降下法(GD)を併用した計算スケーラブルなKM学習アルゴリズムを提案する。 提案したKM学習アルゴリズムを用いた論理的関係マイニングの精度は80%以上である。
  論文  参考訳（メタデータ） (2021-07-11T10:33:02Z)
• Parallel Scheduling Self-attention Mechanism: Generalization and Optimization [0.76146285961466]
  本稿では,SAT(Satisfiability check)ソルバによって解決された小インスタンスの最適スケジューリングから導いた一般スケジューリングアルゴリズムを提案する。 余剰計算をスキップする際のさらなる最適化戦略も推進され、元の計算の約25%と50%の削減が達成される。 提案アルゴリズムは、入力ベクトルの数がアーキテクチャで利用可能な演算ユニットの数に割り切れる限り、問題のサイズにかかわらず適用可能である。
  論文  参考訳（メタデータ） (2020-12-02T12:04:16Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Coded Distributed Computing with Partial Recovery [56.08535873173518]
  部分回復型符号化計算(CCPR)と呼ばれる新しい符号化行列ベクトル乗法を導入する。 CCPRは計算時間と復号化の複雑さを減らし、精度と計算速度のトレードオフを可能にする。 次に、この手法をより一般的な計算タスクの分散実装に拡張し、部分的回復を伴う符号化通信方式を提案する。
  論文  参考訳（メタデータ） (2020-07-04T21:34:49Z)
• Green Machine Learning via Augmented Gaussian Processes and Multi-Information Source Optimization [0.19116784879310028]
  計算時間と消費エネルギーを大幅に削減するための戦略は、異なる情報ソースの可用性を活用することである。 複数の情報ソース(すなわち AGP-MISO)を利用する拡張ガウス過程法を提案する。 Augmented Gaussian Process に従って新しい取得関数が定義される。
  論文  参考訳（メタデータ） (2020-06-25T08:04:48Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。