論文の概要: A Reverse Jensen Inequality Result with Application to Mutual Information Estimation

• arxiv url: http://arxiv.org/abs/2111.06676v1
• Date: Fri, 12 Nov 2021 11:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 14:52:09.844419
• Title: A Reverse Jensen Inequality Result with Application to Mutual Information Estimation
• Title（参考訳）: 相互情報推定への逆ジェンセン不等式の適用
• Authors: Gerhard Wunder, Benedikt Gro{\ss}, Rick Fritschek, Rafael F. Schaefer
• Abstract要約: 確率的設定では、ジェンセンの不等式は凸関数と期待値の関係を記述する。 最小限の制約と適切なスケーリングで、ジェンセンの不等式は逆転できることを示す。
• 参考スコア（独自算出の注目度）: 27.35611916229265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Jensen inequality is a widely used tool in a multitude of fields, such as for example information theory and machine learning. It can be also used to derive other standard inequalities such as the inequality of arithmetic and geometric means or the H\"older inequality. In a probabilistic setting, the Jensen inequality describes the relationship between a convex function and the expected value. In this work, we want to look at the probabilistic setting from the reverse direction of the inequality. We show that under minimal constraints and with a proper scaling, the Jensen inequality can be reversed. We believe that the resulting tool can be helpful for many applications and provide a variational estimation of mutual information, where the reverse inequality leads to a new estimator with superior training behavior compared to current estimators.
• Abstract（参考訳）: ジェンセンの不等式は情報理論や機械学習など、様々な分野において広く使われている道具である。 また、算術的および幾何学的手段の不等式やH\"古い不等式のような他の標準不等式を導出するためにも用いられる。 確率的設定において、ジェンセンの不等式は凸函数と期待値の関係を記述する。 本研究では,不平等の逆方向から確率的設定を考察する。 最小の制約と適切なスケーリングの下では、ジェンセンの不等式は逆転できることを示した。 得られたツールは多くのアプリケーションに役立ち、逆不等式が現在の推定値よりも優れたトレーニング行動を持つ新しい推定値をもたらすような相互情報の変動推定を提供する。

関連論文リスト

• What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning [52.51430732904994]
  強化学習問題では、エージェントはリターンを最大化しながら長期的な公正性を考慮する必要がある。 近年の研究では様々なフェアネスの概念が提案されているが、RL問題における不公平性がどのように生じるかは定かではない。 我々は、環境力学から生じる不平等を明示的に捉える、ダイナミックスフェアネスという新しい概念を導入する。
  論文  参考訳（メタデータ） (2024-04-16T22:47:59Z)
• Certification of multi-qubit quantum systems with temporal inequalities [0.0]
  マルチキュービットシステムにおける非文脈不等式から導かれる時間的不等式を提案する。 本研究では,新たな不等式が逐次測定シナリオによって最大値に違反できることを実証する。 マルチキュービットグラフ状態と測定値の認証が可能である。
  論文  参考訳（メタデータ） (2024-04-03T13:08:11Z)
• Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities [91.12425544503395]
  変分不等式は平衡探索から逆学習まで様々な応用で用いられている。 ほとんどの分散アプローチには、通信コストというボトルネックがあります。 通信ラウンドの総数と1ラウンドのコストを削減する3つの主要な手法は、ローカル関数の類似性、送信された情報の圧縮、ローカル更新である。 本稿では,通信複雑性の理論的保証が最良であり,分散変動不等式に対する他の手法よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-15T12:11:27Z)
• Information Processing Equalities and the Information-Risk Bridge [10.451984251615512]
  本稿では,統計実験のための2つの新しい情報尺度について紹介する。 我々は,情報量測定と統計的決定問題のベイズリスクとの簡単な幾何学的関係を導出する。
  論文  参考訳（メタデータ） (2022-07-25T08:54:36Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• New-Type Hoeffding's Inequalities and Application in Tail Bounds [17.714164324169037]
  そこで、ランダム変数の高次モーメントを考慮に入れた新しいタイプのHoeffdingの不等式を提示する。 既知の結果と比較して、テールバウンドの評価が大幅に改善される可能性がある。
  論文  参考訳（メタデータ） (2021-01-02T03:19:11Z)
• Fractional norms and quasinorms do not help to overcome the curse of dimensionality [62.997667081978825]
  マンハッタンの距離や分数的な準位数 lp は、分類問題における次元性の呪いを克服するのに役立ちます。 系統的な比較では、p=2, 1, 0.5 の lp に基づく kNN の性能の違いは統計的に重要でないことが示されている。
  論文  参考訳（メタデータ） (2020-04-29T14:30:12Z)
• Concentration inequality using unconfirmed knowledge [2.538209532048867]
  確率変数が特定の領域内で値を取るという前提に基づいて濃度不等式を与える。 我々の不等式は他のよく知られた不等式よりも優れている。
  論文  参考訳（メタデータ） (2020-02-11T13:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。