Fugu-MT 論文翻訳(概要): Properties of Minimizing Entropy

論文の概要: Properties of Minimizing Entropy

arxiv url: http://arxiv.org/abs/2112.03143v1
Date: Mon, 6 Dec 2021 16:22:33 GMT
ステータス: 処理完了
システム内更新日: 2021-12-07 17:38:35.879457
Title: Properties of Minimizing Entropy
Title（参考訳）: エントロピー最小化の特性
Authors: Xu Ji, Lena Nehale-Ezzine, Maksym Korablyov
Abstract要約: エントロピーと濃度の関係、両尺度のコンパクト性、前者への降下が後者をいかに減少させるかを示す。有限個の引き数において期待される濃度、あるいは期待される一意な状態の数という2つの間の妥協となる第3のコンパクト性測度を提案する。
参考スコア（独自算出の注目度）: 5.478764356647437
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Compact data representations are one approach for improving generalization of learned functions. We explicitly illustrate the relationship between entropy and cardinality, both measures of compactness, including how gradient descent on the former reduces the latter. Whereas entropy is distribution sensitive, cardinality is not. We propose a third compactness measure that is a compromise between the two: expected cardinality, or the expected number of unique states in any finite number of draws, which is more meaningful than standard cardinality as it discounts states with negligible probability mass. We show that minimizing entropy also minimizes expected cardinality.
Abstract（参考訳）: コンパクトデータ表現は、学習関数の一般化を改善するための1つのアプローチである。エントロピーと濃度の関係を明確に説明し、両尺度のコンパクト性、前者の勾配降下が後者を減少させる方法を含む。エントロピーは分布に敏感であるが、濃度はそうではない。期待濃度(英語版)または任意の有限数の引き数における一意な状態の期待数(英語版)は、無視可能な確率質量を持つ状態を割引するので、標準濃度よりも有意義である。エントロピーの最小化は、期待濃度を最小化する。

関連論文リスト

Conditional Independence of 1D Gibbs States with Applications to Efficient Learning [0.23301643766310368]
熱平衡におけるスピン鎖は, 個々の領域が近傍に強く相関する相関構造を持つことを示す。これらの測度が任意の正の温度で超指数的に崩壊することを証明している。
論文参考訳（メタデータ） (2024-02-28T17:28:01Z)
Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文参考訳（メタデータ） (2023-01-16T02:57:37Z)
A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
論文参考訳（メタデータ） (2022-02-23T16:22:28Z)
Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-03T13:45:36Z)
A Fully Problem-Dependent Regret Lower Bound for Finite-Horizon MDPs [117.82903457289584]
有限水平マルコフ決定過程(MDPs)における新たな問題依存的下界を導出する。我々の下界は一般の場合よりもかなり小さく、最小の作用ギャップでスケールしないことが示される。この最後の結果($poly(H)$の条件で、$H$は地平線である)は、楽観的なアルゴリズムのポリシーギャップに基づいて、後悔の意を表すことによって達成可能であることを示す。
論文参考訳（メタデータ） (2021-06-24T13:46:09Z)
A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-06-18T08:33:45Z)
Measure of genuine coherence based of quasi-relative entropy [1.5229257192293197]
擬相対エントロピーに基づく真のコヒーレンス測度をデフェーズドと原状態の擬エントロピーの差として提示する。この尺度は真の不整合演算(GIO)の下での非負性および単調性を満たす
論文参考訳（メタデータ） (2021-02-25T19:38:52Z)
On the representation and learning of monotone triangular transport maps [1.0128808054306186]
滑らかな関数による単調三角写像を表現するための枠組みを提案する。本稿では,この枠組みを接合密度推定や条件密度推定にどのように適用できるかを示す。このフレームワークは、様々なサンプルサイズで安定した性能を持つ、可能性のない推論モデルに適用することができる。
論文参考訳（メタデータ） (2020-09-22T03:41:45Z)
The variance of relative surprisal as single-shot quantifier [0.0]
我々は、(相対的な)前提条件が、単発設定における量子状態のペア間の近似状態遷移に十分な条件を与えることを示す。さらに、(相対的な)エントロピーの、単純で物理的に魅力的な単一ショットのキャラクタリゼーションを導出する。
論文参考訳（メタデータ） (2020-09-17T16:06:54Z)
Entropy and relative entropy from information-theoretic principles [24.74754293747645]
すべての相対エントロピーは、次数 0$ と $infty$ の R'enyi 分岐の間にある必要がある。我々の主な結果は、エントロピーと相対エントロピーの1対1対応である。
論文参考訳（メタデータ） (2020-06-19T14:50:44Z)
Profile Entropy: A Fundamental Measure for the Learnability and Compressibility of Discrete Distributions [63.60499266361255]
離散分布のサンプルに対して、プロファイルエントロピーは推定、推論、圧縮の概念を統一する基本的な尺度であることを示す。具体的には、プロファイルエントロピー a) は、最適自然推定器に対する分布を推定する速度を決定する; b) 任意のラベル不変分布コレクションに対する最適推定器と比較して全ての対称特性を推定する速度を特徴付ける; c) プロファイル圧縮の限界として機能する。
論文参考訳（メタデータ） (2020-02-26T17:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。