論文の概要: Reconciling the Discrete-Continuous Divide: Towards a Mathematical Theory of Sparse Communication

• arxiv url: http://arxiv.org/abs/2104.00755v1
• Date: Thu, 1 Apr 2021 20:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 13:45:28.863817
• Title: Reconciling the Discrete-Continuous Divide: Towards a Mathematical Theory of Sparse Communication
• Title（参考訳）: 離散連続分割の再構成:スパース通信の数学的理論に向けて
• Authors: Andr\'e F. T. Martins
• Abstract要約: 離散/連続ハイブリッドのための厳密な理論基盤を構築します。 ハイブリッドシンボルの文字列として「混合言語」と新しい混合重み付き有限状態オートマトンを紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks and other machine learning models compute continuous representations, while humans communicate with discrete symbols. Reconciling these two forms of communication is desirable to generate human-readable interpretations or to learn discrete latent variable models, while maintaining end-to-end differentiability. Some existing approaches (such as the Gumbel-softmax transformation) build continuous relaxations that are discrete approximations in the zero-temperature limit, while others (such as sparsemax transformations and the hard concrete distribution) produce discrete/continuous hybrids. In this paper, we build rigorous theoretical foundations for these hybrids. Our starting point is a new "direct sum" base measure defined on the face lattice of the probability simplex. From this measure, we introduce a new entropy function that includes the discrete and differential entropies as particular cases, and has an interpretation in terms of code optimality, as well as two other information-theoretic counterparts that generalize the mutual information and Kullback-Leibler divergences. Finally, we introduce "mixed languages" as strings of hybrid symbols and a new mixed weighted finite state automaton that recognizes a class of regular mixed languages, generalizing closure properties of regular languages.
• Abstract（参考訳）: ニューラルネットワークやその他の機械学習モデルは連続表現を計算し、人間は離散シンボルと通信する。 これらの2種類のコミュニケーションは、エンドツーエンドの識別性を保ちながら、人間可読な解釈を生成するか、個別の潜在変数モデルを学習することが望ましい。 既存の手法(グンベル・ソフトマックス変換など)では、ゼロ温度極限における離散近似である連続緩和が構築されているが、その他の手法(スパースマックス変換やハードコンクリート分布など)は離散/連続ハイブリッドを生成する。 本稿では,これらのハイブリッドの厳密な理論基盤を構築する。 我々の出発点は、確率単純性の面格子上で定義される新しい「直和」基底測度である。 この尺度から、離散エントロピーと微分エントロピーを具体例として含む新たなエントロピー関数を導入し、コード最適性の観点からの解釈と、相互情報とkullback-leiblerダイバージェンスを一般化する2つの情報理論の対応式を導入する。 最後に、ハイブリッドシンボルの文字列として「混合言語」を導入し、正規混合言語のクラスを認識する混合有限状態オートマトンを導入し、正規言語のクロージャ特性を一般化する。

関連論文リスト

• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• On the Convergence of the ELBO to Entropy Sums [3.345575993695074]
  変分下界は、すべての定常的な学習点においてエントロピーの和に等しいことを示す。 非常に大きな生成モデルのクラスでは、変分下界は全ての定常的な学習点である。
  論文  参考訳（メタデータ） (2022-09-07T11:33:32Z)
• Information Theory with Kernel Methods [0.0]
  これらの作用素のフォン・ノイマンエントロピーと相対エントロピーは、シャノンエントロピーと相対エントロピーの通常の概念と密接に関連していることを示す。 確率分布の様々なオーラクルから効率的な推定アルゴリズムが組み合わさっている。
  論文  参考訳（メタデータ） (2022-02-17T09:42:29Z)
• Generation of data on discontinuous manifolds via continuous stochastic non-invertible networks [6.201770337181472]
  連続ネットワークを用いて不連続分布を生成する方法を示す。 コスト関数と情報理論の定式化の関係を導出する。 提案手法を合成2次元分布に適用し,不連続分布の再構成と生成の両立を実証する。
  論文  参考訳（メタデータ） (2021-12-17T17:39:59Z)
• Sparse Communication via Mixed Distributions [29.170302047339174]
  我々は「混合確率変数」の理論基盤を構築する。 本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略を提案する。 我々は、創発的な通信ベンチマークにおいて、両方のアプローチを実験する。
  論文  参考訳（メタデータ） (2021-08-05T14:49:03Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• R\'enyi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations [91.3755431537592]
  量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。 我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
  論文  参考訳（メタデータ） (2021-06-19T04:06:23Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• Mixture Representation Learning with Coupled Autoencoders [1.589915930948668]
  我々は、cpl-mixVAEと呼ばれる複数の相互作用ネットワークを用いた教師なし変分フレームワークを提案する。 このフレームワークでは、各ネットワークの混合表現は、離散因子にコンセンサス制約を課すことで正規化される。 提案手法を用いて,単細胞転写データセットにおける遺伝子発現を記述した変数の離散的・連続的因子を共同で発見する。
  論文  参考訳（メタデータ） (2020-07-20T04:12:04Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。