論文の概要: The Principle of Uncertain Maximum Entropy
- arxiv url: http://arxiv.org/abs/2305.09868v4
- Date: Wed, 11 Sep 2024 02:14:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 22:28:06.287581
- Title: The Principle of Uncertain Maximum Entropy
- Title(参考訳): 絶対最大エントロピーの原理
- Authors: Kenneth Bogert, Matthew Kothe,
- Abstract要約: 古典原理を一般化し、解釈可能な解を提供する不確実な最大エントロピーと呼ばれる新しい原理を提案する。
我々は新しい原理の解を見つけるために凸近似と期待最大化に基づくアルゴリズムを導入する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The principle of maximum entropy is a well-established technique for choosing a distribution that matches available information while minimizing bias. It finds broad use across scientific disciplines and in machine learning. However, the principle as defined by is susceptible to noise and error in observations. This forces real-world practitioners to use relaxed versions of the principle in an ad hoc way, negatively impacting interpretation. To address this situation, we present a new principle we call uncertain maximum entropy that generalizes the classic principle and provides interpretable solutions irrespective of the observational methods in use. We introduce a convex approximation and expectation-maximization based algorithm for finding solutions to our new principle. Finally, we contrast this new technique with two simpler generally applicable solutions theoretically and experimentally show our technique provides superior accuracy.
- Abstract(参考訳): 最大エントロピーの原理は、バイアスを最小限にしながら利用可能な情報と一致する分布を選択するための確立された手法である。
科学分野や機械学習で広く使われている。
しかし、定義されている原理は観測におけるノイズや誤差の影響を受けやすい。
これにより、現実の実践者は原則の緩やかなバージョンをアドホックな方法で使用せざるを得なくなり、解釈に悪影響を及ぼす。
この状況に対処するため、我々は、古典的な原理を一般化し、使用中の観測方法に関係なく解釈可能な解を提供する不確実な最大エントロピーと呼ぶ新しい原理を提案する。
我々は新しい原理の解を見つけるために凸近似と期待最大化に基づくアルゴリズムを導入する。
最後に、この新手法を理論的に2つのより単純な一般応用解と対比し、実験によりこれらの手法がより優れた精度を提供することを示す。
関連論文リスト
- Physics-Informed Gaussian Process Regression Generalizes Linear PDE Solvers [32.57938108395521]
線形偏微分方程式と呼ばれる力学モデルのクラスは、熱伝達、電磁気、波動伝播などの物理過程を記述するために用いられる。
離散化に基づく特殊数値法はPDEの解法として用いられる。
パラメータや測定の不確実性を無視することで、古典的なPDE解法は固有の近似誤差の一貫した推定を導出できない可能性がある。
論文 参考訳(メタデータ) (2022-12-23T17:02:59Z) - IRL with Partial Observations using the Principle of Uncertain Maximum
Entropy [8.296684637620553]
我々は、不確実な最大エントロピーの原理を導入し、期待最大化に基づく解を示す。
我々は,最大因果エントロピー逆強化学習領域において,ノイズデータに対する頑健性の改善を実験的に実証した。
論文 参考訳(メタデータ) (2022-08-15T03:22:46Z) - Entropy-based Characterization of Modeling Constraints [0.0]
ほとんどのデータ科学的アプローチでは、エントロピー(MaxEnt)の原理はパラメトリックモデルを正当化するために用いられる。
与えられた制約の集合を満たすすべての実効的な分布の分布を導出する。
データによって支えられる適切なパラメトリックモデルは、常にモデル選択の最後に導出することができる。
論文 参考訳(メタデータ) (2022-06-27T17:25:49Z) - MissDAG: Causal Discovery in the Presence of Missing Data with
Continuous Additive Noise Models [78.72682320019737]
不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。
MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。
各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
論文 参考訳(メタデータ) (2022-05-27T09:59:46Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Provable RL with Exogenous Distractors via Multistep Inverse Dynamics [85.52408288789164]
実世界の強化学習(RL)の応用は、メガピクセルカメラから生成されたような高次元の観察にエージェントが対処する必要がある。
従来の研究は表現学習でこのような問題に対処しており、エージェントは生の観察から内因性、潜伏状態の情報を確実に抽出することができる。
しかし、このような手法は観測において時間的に相関するノイズの存在下では失敗する可能性がある。
論文 参考訳(メタデータ) (2021-10-17T15:21:27Z) - Notes on Generalizing the Maximum Entropy Principle to Uncertain Data [0.0]
最大エントロピーの原理を最小限の情報量で計算する。
本手法は最大エントロピーと潜在最大エントロピーの原理を一般化することを示す。
限られたデータの場合、特徴期待制約にエラー項を追加するための一般的な正則化手法について論じる。
論文 参考訳(メタデータ) (2021-09-09T19:43:28Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳(メタデータ) (2021-08-01T14:33:17Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳(メタデータ) (2021-02-12T12:23:13Z) - Generalized Entropy Regularization or: There's Nothing Special about
Label Smoothing [83.78668073898001]
本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。
モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。
我々は,他のエントロピー正規化手法の使用を推奨する。
論文 参考訳(メタデータ) (2020-05-02T12:46:28Z) - Observational nonidentifiability, generalized likelihood and free energy [0.0]
有効温度を導入することにより,限界確率を一般化する方法を示す。
これは観測上の非識別性を解決し、ユニークな結果をもたらす。
論文 参考訳(メタデータ) (2020-02-18T21:22:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。