論文の概要: Computing Low-Entropy Couplings for Large-Support Distributions

• arxiv url: http://arxiv.org/abs/2405.19540v1
• Date: Wed, 29 May 2024 21:54:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 18:56:18.076474
• Title: Computing Low-Entropy Couplings for Large-Support Distributions
• Title（参考訳）: 大規模配電系統における低エントロピー結合の計算
• Authors: Samuel Sokota, Dylan Sam, Christian Schroeder de Witt, Spencer Compton, Jakob Foerster, J. Zico Kolter,
• Abstract要約: 最小エントロピー結合は因果関係やステガノグラフィーなどの分野で応用されている。 既存のアルゴリズムは、大容量の分布に対して計算的に抽出可能であるか、特定の分布タイプに限定されている。 この研究は、事前の反復MECアプローチを一般化されたパーティションベースの形式主義に統一することにより、これらの制限に対処する。
• 参考スコア（独自算出の注目度）: 53.00113867130712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimum-entropy coupling (MEC) -- the process of finding a joint distribution with minimum entropy for given marginals -- has applications in areas such as causality and steganography. However, existing algorithms are either computationally intractable for large-support distributions or limited to specific distribution types and sensitive to hyperparameter choices. This work addresses these limitations by unifying a prior family of iterative MEC (IMEC) approaches into a generalized partition-based formalism. From this framework, we derive a novel IMEC algorithm called ARIMEC, capable of handling arbitrary discrete distributions, and introduce a method to make IMEC robust to suboptimal hyperparameter settings. These innovations facilitate the application of IMEC to high-throughput steganography with language models, among other settings. Our codebase is available at https://github.com/ssokota/mec .
• Abstract（参考訳）: 最小エントロピー結合(MEC、Minimum-Entropy coupling)とは、最小エントロピーを持つ最小エントロピーを求める過程であり、因果関係やステガノグラフィーなどの分野で応用されている。 しかし、既存のアルゴリズムは、大容量の分布に対して計算的に抽出可能であるか、特定の分布タイプに制限されているか、ハイパーパラメータの選択に敏感である。 この研究は、従来の反復MEC(IMEC)アプローチを一般化されたパーティションベースの形式主義に統一することで、これらの制限に対処する。 この枠組みから任意の離散分布を処理できる新しいIMECアルゴリズムであるARIMECを導出し、最適化されたハイパーパラメータ設定に対してIMECを堅牢にする方法を提案する。 これらの革新はIMECの言語モデルを用いた高スループットステガノグラフィーへの応用を促進する。 私たちのコードベースはhttps://github.com/ssokota/mec で公開されています。

関連論文リスト

• Minimum Entropy Coupling with Bottleneck [22.409716686394525]
  本稿では,対数損失下で動作する新しい損失圧縮フレームワークについて検討する。 特に、共同圧縮と検索を必要とするアプリケーションや、処理による分散シフトを伴うシナリオに関係している。 提案した定式化は、ボトルネックを統合することにより、古典的な最小エントロピー結合フレームワークを拡張していることを示す。
  論文  参考訳（メタデータ） (2024-10-29T02:19:07Z)
• Energy-Guided Continuous Entropic Barycenter Estimation for General Costs [95.33926437521046]
  任意のOTコスト関数に対して連続的エントロピーOT(EOT)バリセンタを近似する新しいアルゴリズムを提案する。 本手法は、弱いOTに基づくEOT問題の二重再構成に基づいている。
  論文  参考訳（メタデータ） (2023-10-02T11:24:36Z)
• Multi-kernel Correntropy-based Orientation Estimation of IMUs: Gradient Descent Methods [3.8286082196845466]
  コレントロピーに基づく降下勾配(CGD)とコレントロピーに基づく非結合配向推定(CDOE) 従来の方法は平均二乗誤差(MSE)基準に依存しており、外部加速度や磁気干渉に弱い。 新しいアルゴリズムは、カルマンフィルタベースのアプローチよりも計算の複雑さが著しく低いことを示している。
  論文  参考訳（メタデータ） (2023-04-13T13:57:33Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• A hybrid MGA-MSGD ANN training approach for approximate solution of linear elliptic PDEs [0.0]
  MGA-MSGD(Modified Genetic-Multilevel Gradient Descent)トレーニングアルゴリズムを導入しました。 ANNによるPDEによって記述された3次元機械的問題の精度と効率を大幅に改善する。
  論文  参考訳（メタデータ） (2020-12-18T10:59:07Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。