論文の概要: Towards a Law of Iterated Expectations for Heuristic Estimators

• arxiv url: http://arxiv.org/abs/2410.01290v1
• Date: Wed, 2 Oct 2024 07:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 21:59:16.082395
• Title: Towards a Law of Iterated Expectations for Heuristic Estimators
• Title（参考訳）: ヒューリスティック推定器の反復予測法に向けて
• Authors: Paul Christiano, Jacob Hilton, Andrea Lincoln, Eric Neyman, Mark Xu,
• Abstract要約: 本研究では,推定器が自身の誤りを予測できないという非公式の原理を論じる。 理想的な推定器はこの静脈の2つのより強い性質を満たすべきであると論じる。 別のアプローチとして *accuracy*:$mathbbG(Y mid pi)$ が数学的表現の分布上の平均誤差をゼロとする性質を探求する。
• 参考スコア（独自算出の注目度）: 10.287238241371922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Christiano et al. (2022) define a *heuristic estimator* to be a hypothetical algorithm that estimates the values of mathematical expressions from arguments. In brief, a heuristic estimator $\mathbb{G}$ takes as input a mathematical expression $Y$ and a formal "heuristic argument" $\pi$, and outputs an estimate $\mathbb{G}(Y \mid \pi)$ of $Y$. In this work, we argue for the informal principle that a heuristic estimator ought not to be able to predict its own errors, and we explore approaches to formalizing this principle. Most simply, the principle suggests that $\mathbb{G}(Y - \mathbb{G}(Y \mid \pi) \mid \pi)$ ought to equal zero for all $Y$ and $\pi$. We argue that an ideal heuristic estimator ought to satisfy two stronger properties in this vein, which we term *iterated estimation* (by analogy to the law of iterated expectations) and *error orthogonality*. Although iterated estimation and error orthogonality are intuitively appealing, it can be difficult to determine whether a given heuristic estimator satisfies the properties. As an alternative approach, we explore *accuracy*: a property that (roughly) states that $\mathbb{G}$ has zero average error over a distribution of mathematical expressions. However, in the context of two estimation problems, we demonstrate barriers to creating an accurate heuristic estimator. We finish by discussing challenges and potential paths forward for finding a heuristic estimator that accords with our intuitive understanding of how such an estimator ought to behave, as well as the potential applications of heuristic estimators to understanding the behavior of neural networks.
• Abstract（参考訳）: Christiano et al (2022) は *heuristic estimator* を数学式の価値を引数から推定する仮説的アルゴリズムとして定義している。 簡単に言うと、ヒューリスティック推定器 $\mathbb{G}$ は数学式 $Y$ と公式の "ヒューリスティック引数" $\pi$ を入力として、推定値 $\mathbb{G}(Y \mid \pi)$ を$Y$ と出力する。 本研究では,ヒューリスティックな推定器が自身の誤りを予測できないという非公式な原理を論じ,この原理を定式化するためのアプローチを検討する。 より単純に、この原理は、$\mathbb{G}(Y - \mathbb{G}(Y \mid \pi) \mid \pi)$ がすべての$Y$と$\pi$に対してゼロに等しいことを示唆している。 理想的なヒューリスティック推定子は、この静脈の2つのより強い性質を満たすべきであり、これは*定性的推定*(反復期待の法則に類似して)と*エラー直交*(英語版)とよばれる。 反復推定と誤差直交性は直感的に魅力的であるが、与えられたヒューリスティック推定器が特性を満たすかどうかを判断することは困難である。 別のアプローチとして *accuracy*:$\mathbb{G}$ が数学的表現の分布平均誤差をゼロとする性質を探求する。 しかし、2つの推定問題の文脈では、正確なヒューリスティック推定器を作成するための障壁を示す。 我々は、ニューラルネットワークの振る舞いを理解するためのヒューリスティックな推定器の潜在的な応用と同様に、そのような推定器がどのように振る舞うべきかを直感的に理解するヒューリスティックな推定器を見つけるための課題と潜在的な経路について議論する。

関連論文リスト

• A Theory of Interpretable Approximations [61.90216959710842]
  我々は、ある基底クラス $mathcalH$ の概念の小さな集合によってターゲット概念 $c$ を近似するという考え方を研究する。 任意の$mathcalH$と$c$のペアに対して、これらのケースのちょうど1つが成り立つ: (i) $c$を任意の精度で$mathcalH$で近似することはできない。 解釈可能な近似の場合、近似の複雑さに関するわずかに非自明なa-priori保証でさえ、定数(分布自由かつ精度)の近似を意味することを示す。
  論文  参考訳（メタデータ） (2024-06-15T06:43:45Z)
• Robust Sparse Mean Estimation via Incremental Learning [15.536082641659423]
  そこで本研究では, 部分的に破損したサンプルの集合から, k$-sparse平均を推定することを目的とする, 頑健な平均推定問題について検討する。 両課題を適度な条件下で克服する簡易平均推定器を提案する。 私たちのメソッドは、スパーシティレベル$k$に関する事前の知識を必要としない。
  論文  参考訳（メタデータ） (2023-05-24T16:02:28Z)
• Formalizing the presumption of independence [2.658812114255374]
  このような推論の重要な要素は、$mathbbE[XY] = mathbbE[X] mathbbE[Y]$の"デフォルト"推定値を使用することである。 これに基づく推論は一般的な場所であり、直感的に説得力があり、しばしば非常に成功しますが、完全に非公式です。 独立の前提の直感的に有効な適用を、素早い議論を受け入れることなく公式化する推定器があるのだろうか?
  論文  参考訳（メタデータ） (2022-11-12T20:28:19Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Robust Estimation for Random Graphs [47.07886511972046]
  我々は、$n$ノード上のErdHos-R'enyiランダムグラフのパラメータ$p$を頑健に推定する問題について検討する。 情報理論の限界であるすべての$gamma 1/2$に対して、同様の精度で非効率なアルゴリズムを与える。
  論文  参考訳（メタデータ） (2021-11-09T18:43:25Z)
• Probabilistic Iterative Methods for Linear Systems [5.457842083043013]
  我々は、 $mathbbRd$ 上の標準反復法が、確率分布の空間に作用するために、$mathcalP(mathbbRd)$ を解除することを示す。 この論文で提案される反復的手法の出力は、数学P(mathbbRd)$における確率分布の列$mu_mである。
  論文  参考訳（メタデータ） (2020-12-23T11:55:57Z)
• Optimal Mean Estimation without a Variance [103.26777953032537]
  本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。 最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
  論文  参考訳（メタデータ） (2020-11-24T22:39:21Z)
• Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
  ガウス下収束を考慮した新しい推定器を提案する。 我々の推定器はその分散に関する事前の知識を必要としない。 我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-11-17T02:47:24Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)
• GO Hessian for Expectation-Based Objectives [73.06986780804269]
  GOグラデーションは、最近予測に基づく目的に対して$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$として提案された。 GO勾配に基づいて、$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$ an unbiased low-variance Hessian estimator, named GO Hessian を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。