論文の概要: Sparse Communication via Mixed Distributions

• arxiv url: http://arxiv.org/abs/2108.02658v1
• Date: Thu, 5 Aug 2021 14:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 14:36:13.712984
• Title: Sparse Communication via Mixed Distributions
• Title（参考訳）: 混合分布によるスパース通信
• Authors: Ant\'onio Farinhas and Wilker Aziz and Vlad Niculae and Andr\'e F. T. Martins
• Abstract要約: 我々は「混合確率変数」の理論基盤を構築する。 本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略を提案する。 我々は、創発的な通信ベンチマークにおいて、両方のアプローチを実験する。
• 参考スコア（独自算出の注目度）: 29.170302047339174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks and other machine learning models compute continuous representations, while humans communicate mostly through discrete symbols. Reconciling these two forms of communication is desirable for generating human-readable interpretations or learning discrete latent variable models, while maintaining end-to-end differentiability. Some existing approaches (such as the Gumbel-Softmax transformation) build continuous relaxations that are discrete approximations in the zero-temperature limit, while others (such as sparsemax transformations and the Hard Concrete distribution) produce discrete/continuous hybrids. In this paper, we build rigorous theoretical foundations for these hybrids, which we call "mixed random variables." Our starting point is a new "direct sum" base measure defined on the face lattice of the probability simplex. From this measure, we introduce new entropy and Kullback-Leibler divergence functions that subsume the discrete and differential cases and have interpretations in terms of code optimality. Our framework suggests two strategies for representing and sampling mixed random variables, an extrinsic ("sample-and-project") and an intrinsic one (based on face stratification). We experiment with both approaches on an emergent communication benchmark and on modeling MNIST and Fashion-MNIST data with variational auto-encoders with mixed latent variables.
• Abstract（参考訳）: ニューラルネットワークやその他の機械学習モデルは連続表現を計算し、人間は主として離散シンボルを介して通信する。 これらの2種類のコミュニケーションは、エンドツーエンドの識別性を保ちながら、人間可読な解釈を生成したり、個別の潜在変数モデルを学習するのに望ましい。 既存のアプローチ(Gumbel-Softmax変換など)は、ゼロ温度極限における離散近似である連続緩和を構築し、他のアプローチ(スパースマックス変換やハードコンクリート分布など)は離散/連続ハイブリッドを生成する。 本稿では,これらのハイブリッドに対する厳密な理論的基礎を構築し,これを「混合確率変数」と呼ぶ。 我々の出発点は、確率単純性の面格子上で定義される新しい「直和」基底測度である。 この尺度から, 離散的および微分的ケースを仮定し, 符号最適性の観点から解釈を行う新しいエントロピー関数とkullback-leibler 発散関数を導入する。 本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略,外在的(サンプル・アンド・プロジェクト)と内在的(顔層化に基づく)の戦略を提案する。 我々は、創発的通信ベンチマークとMNISTとFashion-MNISTデータを混合潜在変数を持つ変分自動エンコーダでモデル化する2つの方法の実験を行った。

関連論文リスト

• Discrete Flow Matching [74.04153927689313]
  本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。 我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
  論文  参考訳（メタデータ） (2024-07-22T12:33:27Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Can Push-forward Generative Models Fit Multimodal Distributions? [3.8615905456206256]
  生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。 本研究では,1次元および画像のデータセットを用いて,各ステップで入力されたスタックネットワークからなる生成モデルがそのような制約を負わないことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-06-29T09:03:30Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Reconciling the Discrete-Continuous Divide: Towards a Mathematical Theory of Sparse Communication [0.0]
  離散/連続ハイブリッドのための厳密な理論基盤を構築します。 ハイブリッドシンボルの文字列として「混合言語」と新しい混合重み付き有限状態オートマトンを紹介します。
  論文  参考訳（メタデータ） (2021-04-01T20:31:13Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。