論文の概要: The Principle of Uncertain Maximum Entropy

• arxiv url: http://arxiv.org/abs/2305.09868v2
• Date: Mon, 19 Jun 2023 19:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 02:10:49.944009
• Title: The Principle of Uncertain Maximum Entropy
• Title（参考訳）: 不確定な最大エントロピーの原理
• Authors: Kenneth Bogert, Matthew Kothe
• Abstract要約: 最大エントロピーの原理は、統計力学、機械学習、生態学など様々な分野の進歩に寄与している。 ここでは,不確実な最大エントロピーの原理を,任意にノイズの観測を行うにもかかわらず,すべての情報を符号化する手法として示す。 我々は、ブラックボックス機械学習モデルの出力を不確実な最大エントロピーモデルへの入力として利用し、観測関数が利用できないシナリオに対する新しいアプローチをもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The principle of maximum entropy, as introduced by Jaynes in information theory, has contributed to advancements in various domains such as Statistical Mechanics, Machine Learning, and Ecology. Its resultant solutions have served as a catalyst, facilitating researchers in mapping their empirical observations to the acquisition of unbiased models, whilst deepening the understanding of complex systems and phenomena. However, when we consider situations in which the model elements are not directly observable, such as when noise or ocular occlusion is present, possibilities arise for which standard maximum entropy approaches may fail, as they are unable to match feature constraints. Here we show the Principle of Uncertain Maximum Entropy as a method that both encodes all available information in spite of arbitrarily noisy observations while surpassing the accuracy of some ad-hoc methods. Additionally, we utilize the output of a black-box machine learning model as input into an uncertain maximum entropy model, resulting in a novel approach for scenarios where the observation function is unavailable. Previous remedies either relaxed feature constraints when accounting for observation error, given well-characterized errors such as zero-mean Gaussian, or chose to simply select the most likely model element given an observation. We anticipate our principle finding broad applications in diverse fields due to generalizing the traditional maximum entropy method with the ability to utilize uncertain observations.
• Abstract（参考訳）: 情報理論においてジェインズが導入した最大エントロピーの原理は、統計力学、機械学習、生態学といった様々な分野の進歩に貢献した。 結果として得られる解は触媒となり、研究者は経験的な観察を偏りのないモデル獲得にマッピングし、複雑なシステムや現象の理解を深める。 しかし、ノイズや眼球閉塞などのモデル要素が直接観測できない状況を考えると、特徴制約に合致しないため、標準的な最大エントロピーアプローチが失敗する可能性がある。 ここでは,不確実な最大エントロピーの原理を,いくつかのアドホックな手法の精度を超越しながら,任意のノイズを観測しながら,利用可能な情報を符号化する手法として示す。 さらに,ブラックボックス機械学習モデルの出力を不確定な最大エントロピーモデルへの入力として活用し,観測関数が利用できないシナリオに対する新しいアプローチを提案する。 以前の修正では、観測誤差の計算時に特徴的制約を緩和するか、ゼロ平均ガウス型のようなよく特性化された誤差を与えられたか、観察によって与えられた最も可能性の高いモデル要素を単に選択するかのどちらかであった。 従来の最大エントロピー法を一般化し,不確実な観測を活用できるため,様々な分野の幅広い応用が期待できる。

関連論文リスト

• Asymptotic quantification of entanglement with a single copy [8.056359341994941]
  本稿では, エンタングルメント蒸留(精製)のプロトコルをベンチマークする方法を紹介する。 その収量を測定する代わりに、私たちは最高のエラーを達成可能であることに焦点を合わせます。 この解は、量子状態の1つのコピーだけを用いて評価できる単一文字量であるエンタングルメントの逆相対エントロピーによって与えられることを示す。
  論文  参考訳（メタデータ） (2024-08-13T17:57:59Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• ODE Discovery for Longitudinal Heterogeneous Treatment Effects Inference [69.24516189971929]
  本稿では, 閉形式常微分方程式(ODE)という, 縦条件下での新しい解法を提案する。 私たちはまだODEを学ぶために継続的な最適化に依存していますが、結果として生じる推論マシンはもはやニューラルネットワークではありません。
  論文  参考訳（メタデータ） (2024-03-16T02:07:45Z)
• The Principle of Minimum Pressure Gradient: An Alternative Basis for Physics-Informed Learning of Incompressible Fluid Mechanics [0.0]
  提案手法は、最小圧力勾配の原理と連続性制約を組み合わせることで、ニューラルネットワークを訓練し、非圧縮性流体中の流れ場を予測する。 従来の手法と比較して,学習時間当たりの計算時間を短縮することを示す。
  論文  参考訳（メタデータ） (2024-01-15T06:12:22Z)
• A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
  Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。 この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:59:09Z)
• IRL with Partial Observations using the Principle of Uncertain Maximum Entropy [8.296684637620553]
  我々は、不確実な最大エントロピーの原理を導入し、期待最大化に基づく解を示す。 我々は,最大因果エントロピー逆強化学習領域において,ノイズデータに対する頑健性の改善を実験的に実証した。
  論文  参考訳（メタデータ） (2022-08-15T03:22:46Z)
• Notes on Generalizing the Maximum Entropy Principle to Uncertain Data [0.0]
  最大エントロピーの原理を最小限の情報量で計算する。 本手法は最大エントロピーと潜在最大エントロピーの原理を一般化することを示す。 限られたデータの場合、特徴期待制約にエラー項を追加するための一般的な正則化手法について論じる。
  論文  参考訳（メタデータ） (2021-09-09T19:43:28Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Density Fixing: Simple yet Effective Regularization Method based on the Class Prior [2.3859169601259347]
  本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。 提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T04:58:22Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。