論文の概要: The Principle of Uncertain Maximum Entropy
- arxiv url: http://arxiv.org/abs/2305.09868v2
- Date: Mon, 19 Jun 2023 19:46:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 02:10:49.944009
- Title: The Principle of Uncertain Maximum Entropy
- Title(参考訳): 不確定な最大エントロピーの原理
- Authors: Kenneth Bogert, Matthew Kothe
- Abstract要約: 最大エントロピーの原理は、統計力学、機械学習、生態学など様々な分野の進歩に寄与している。
ここでは,不確実な最大エントロピーの原理を,任意にノイズの観測を行うにもかかわらず,すべての情報を符号化する手法として示す。
我々は、ブラックボックス機械学習モデルの出力を不確実な最大エントロピーモデルへの入力として利用し、観測関数が利用できないシナリオに対する新しいアプローチをもたらす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The principle of maximum entropy, as introduced by Jaynes in information
theory, has contributed to advancements in various domains such as Statistical
Mechanics, Machine Learning, and Ecology. Its resultant solutions have served
as a catalyst, facilitating researchers in mapping their empirical observations
to the acquisition of unbiased models, whilst deepening the understanding of
complex systems and phenomena. However, when we consider situations in which
the model elements are not directly observable, such as when noise or ocular
occlusion is present, possibilities arise for which standard maximum entropy
approaches may fail, as they are unable to match feature constraints. Here we
show the Principle of Uncertain Maximum Entropy as a method that both encodes
all available information in spite of arbitrarily noisy observations while
surpassing the accuracy of some ad-hoc methods. Additionally, we utilize the
output of a black-box machine learning model as input into an uncertain maximum
entropy model, resulting in a novel approach for scenarios where the
observation function is unavailable. Previous remedies either relaxed feature
constraints when accounting for observation error, given well-characterized
errors such as zero-mean Gaussian, or chose to simply select the most likely
model element given an observation. We anticipate our principle finding broad
applications in diverse fields due to generalizing the traditional maximum
entropy method with the ability to utilize uncertain observations.
- Abstract(参考訳): 情報理論においてジェインズが導入した最大エントロピーの原理は、統計力学、機械学習、生態学といった様々な分野の進歩に貢献した。
結果として得られる解は触媒となり、研究者は経験的な観察を偏りのないモデル獲得にマッピングし、複雑なシステムや現象の理解を深める。
しかし、ノイズや眼球閉塞などのモデル要素が直接観測できない状況を考えると、特徴制約に合致しないため、標準的な最大エントロピーアプローチが失敗する可能性がある。
ここでは,不確実な最大エントロピーの原理を,いくつかのアドホックな手法の精度を超越しながら,任意のノイズを観測しながら,利用可能な情報を符号化する手法として示す。
さらに,ブラックボックス機械学習モデルの出力を不確定な最大エントロピーモデルへの入力として活用し,観測関数が利用できないシナリオに対する新しいアプローチを提案する。
以前の修正では、観測誤差の計算時に特徴的制約を緩和するか、ゼロ平均ガウス型のようなよく特性化された誤差を与えられたか、観察によって与えられた最も可能性の高いモデル要素を単に選択するかのどちらかであった。
従来の最大エントロピー法を一般化し,不確実な観測を活用できるため,様々な分野の幅広い応用が期待できる。
関連論文リスト
- A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative
Models [15.981380319863527]
カーネルスコアとその関連するエントロピーに対する最初のバイアス-分散-共分散分解を導入する。
分散と予測的カーネルエントロピーは,画像,音声,言語生成の不確実性に対して有効な尺度であることを示す。
論文 参考訳(メタデータ) (2023-10-09T16:22:11Z) - IRL with Partial Observations using the Principle of Uncertain Maximum
Entropy [8.296684637620553]
我々は、不確実な最大エントロピーの原理を導入し、期待最大化に基づく解を示す。
我々は,最大因果エントロピー逆強化学習領域において,ノイズデータに対する頑健性の改善を実験的に実証した。
論文 参考訳(メタデータ) (2022-08-15T03:22:46Z) - Entropy-based Characterization of Modeling Constraints [0.0]
ほとんどのデータ科学的アプローチでは、エントロピー(MaxEnt)の原理はパラメトリックモデルを正当化するために用いられる。
与えられた制約の集合を満たすすべての実効的な分布の分布を導出する。
データによって支えられる適切なパラメトリックモデルは、常にモデル選択の最後に導出することができる。
論文 参考訳(メタデータ) (2022-06-27T17:25:49Z) - MissDAG: Causal Discovery in the Presence of Missing Data with
Continuous Additive Noise Models [78.72682320019737]
不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。
MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。
各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
論文 参考訳(メタデータ) (2022-05-27T09:59:46Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Provable RL with Exogenous Distractors via Multistep Inverse Dynamics [85.52408288789164]
実世界の強化学習(RL)の応用は、メガピクセルカメラから生成されたような高次元の観察にエージェントが対処する必要がある。
従来の研究は表現学習でこのような問題に対処しており、エージェントは生の観察から内因性、潜伏状態の情報を確実に抽出することができる。
しかし、このような手法は観測において時間的に相関するノイズの存在下では失敗する可能性がある。
論文 参考訳(メタデータ) (2021-10-17T15:21:27Z) - Notes on Generalizing the Maximum Entropy Principle to Uncertain Data [0.0]
最大エントロピーの原理を最小限の情報量で計算する。
本手法は最大エントロピーと潜在最大エントロピーの原理を一般化することを示す。
限られたデータの場合、特徴期待制約にエラー項を追加するための一般的な正則化手法について論じる。
論文 参考訳(メタデータ) (2021-09-09T19:43:28Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳(メタデータ) (2021-08-01T14:33:17Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳(メタデータ) (2021-02-12T12:23:13Z) - Generalized Entropy Regularization or: There's Nothing Special about
Label Smoothing [83.78668073898001]
本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。
モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。
我々は,他のエントロピー正規化手法の使用を推奨する。
論文 参考訳(メタデータ) (2020-05-02T12:46:28Z) - Observational nonidentifiability, generalized likelihood and free energy [0.0]
有効温度を導入することにより,限界確率を一般化する方法を示す。
これは観測上の非識別性を解決し、ユニークな結果をもたらす。
論文 参考訳(メタデータ) (2020-02-18T21:22:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。