論文の概要: Identifying Information from Observations with Uncertainty and Novelty
- arxiv url: http://arxiv.org/abs/2501.09331v1
- Date: Thu, 16 Jan 2025 07:02:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:11:37.715759
- Title: Identifying Information from Observations with Uncertainty and Novelty
- Title（参考訳）: 不確かさとノベルティによる観測からの情報の特定
- Authors: Derek S. Prijatelj, Timothy J. Ireland, Walter J. Scheirer,
- Abstract要約: 本稿では、異なる仮説間の関係を表現するために用いられる言語から生じる「識別可能な情報」の概念を定式化する。
計算可能なPAC-Bayes学習者のサンプル複雑性分布は、固定有限仮説集合上の事前確率分布の観点から、そのモーメントによって決定されることを示す。
- 参考スコア（独自算出の注目度）: 7.088298584035036
- License:
- Abstract: A machine learning tasks from observations must encounter and process uncertainty and novelty, especially when it is expected to maintain performance when observing new information and to choose the best fitting hypothesis to the currently observed information. In this context, some key questions arise: what is information, how much information did the observations provide, how much information is required to identify the data-generating process, how many observations remain to get that information, and how does a predictor determine that it has observed novel information? This paper strengthens existing answers to these questions by formalizing the notion of "identifiable information" that arises from the language used to express the relationship between distinct states. Model identifiability and sample complexity are defined via computation of an indicator function over a set of hypotheses. Their properties and asymptotic statistics are described for data-generating processes ranging from deterministic processes to ergodic stationary stochastic processes. This connects the notion of identifying information in finite steps with asymptotic statistics and PAC-learning. The indicator function's computation naturally formalizes novel information and its identification from observations with respect to a hypothesis set. We also proved that computable PAC-Bayes learners' sample complexity distribution is determined by its moments in terms of the the prior probability distribution over a fixed finite hypothesis set.
- Abstract（参考訳）: 観測からの機械学習タスクは、特に新しい情報を見る際にパフォーマンスを維持し、現在観察されている情報に最適な仮説を選択すると期待されている場合、不確実性と新規性に遭遇して処理しなければならない。
この文脈では、情報とは何か、観測が提供した情報量、データ生成プロセスを特定するために必要な情報量、その情報を取得するために残っている観測数、予測者が新しい情報を観測したと判断するにはどうすればよいか、といった重要な疑問が浮かび上がってくる。
本稿では,異なる状態間の関係を表現するために用いられる言語から生じる「識別可能な情報」の概念を定式化することにより,これらの質問に対する既存の回答を強化する。
モデル同定可能性とサンプル複雑性は、一連の仮説上の指標関数の計算によって定義される。
それらの特性と漸近統計は、決定論的プロセスからエルゴード的定常確率過程まで、データ生成過程について記述されている。
これは、有限段階における情報の識別という概念を漸近統計学やPAC学習と結びつけている。
インジケータ関数の計算は、仮説集合に関する観測からの新しい情報とその識別を自然に定式化する。
また、計算可能なPAC-Bayes学習者のサンプル複雑性分布は、固定有限仮説集合上の事前確率分布の観点から、そのモーメントによって決定されることを示した。
関連論文リスト
- Comparing the information content of probabilistic representation spaces [3.7277730514654555]
確率的表現空間はデータセットに関する情報を伝達し、トレーニングデータ、ネットワークアーキテクチャ、損失関数などの要因によって形成される。
一般確率表現空間を比較するための2つの情報理論尺度を提案する。
3つのケーススタディでこれらの尺度の有用性を実証する。
論文 参考訳（メタデータ） (2024-05-31T17:33:07Z) - On the Identification of Temporally Causal Representation with Instantaneous Dependence [50.14432597910128]
時間的因果表現学習は時系列観測から潜在因果過程を特定することを目的としている。
ほとんどの方法は、潜在因果過程が即時関係を持たないという仮定を必要とする。
我々は,インスタントtextbfOus textbfLatent dynamics のための textbfIDentification フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-24T08:08:05Z) - On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。
そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文 参考訳（メタデータ） (2023-10-16T10:02:24Z) - LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。
LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。
提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
論文 参考訳（メタデータ） (2023-10-01T04:09:59Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳（メタデータ） (2023-05-24T11:43:47Z) - Inferential Moments of Uncertain Multivariable Systems [0.0]
我々はベイズ確率の更新をランダムなプロセスとして扱い、推論モーメントと呼ばれる結合確率分布の固有量的特徴を明らかにする。
推論モーメントは、まだ取得されていない情報に応じて、事前分布がどのように更新されるかについての形状情報を定量化する。
情報理論の要素と推論理論の関連性を示す推論モーメントの観点から,相互情報の時系列展開を求める。
論文 参考訳（メタデータ） (2023-05-03T00:56:12Z) - Visualizing Confidence Intervals for Critical Point Probabilities in 2D
Scalar Field Ensembles [7.484221280249876]
本稿では,アンサンブルデータセットにおける臨界点の発生確率に対する信頼区間の計算と視覚的表現について述べる。
合成データセット上の不確実なデータにおける臨界点予測のための既存手法に対するアプローチの付加価値を実証し、気候研究から得られたデータセットに適用可能性を示す。
論文 参考訳（メタデータ） (2022-07-13T12:54:27Z) - A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。
これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。
本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-08T18:08:36Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳（メタデータ） (2020-12-05T17:30:35Z) - Efficient nonparametric statistical inference on population feature
importance using Shapley values [7.6146285961466]
本稿では,SPVIM(Shapley Population Variable Importance Measure)を用いた統計的推定手法を提案する。
真の SPVIM の計算複雑性は変数数とともに指数関数的に増大するが, ランダムサンプリングのみに基づく推定器を提案する。
提案手法はシミュレーションにおける有限サンプル性能が良好であり, 異なる機械学習アルゴリズムを適用した場合, ホスピタル内予測タスクでも同様の変数重要度推定が可能である。
論文 参考訳（メタデータ） (2020-06-16T19:47:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。