論文の概要: Rarity Determines Minimax Rates of Semantic Entropy From Weak Pairwise Judgments With a Known Channel

• arxiv url: http://arxiv.org/abs/2610.17971v1
• Date: Tue, 13 Oct 2026 08:44:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:58:14.258533
• Title: Rarity Determines Minimax Rates of Semantic Entropy From Weak Pairwise Judgments With a Known Channel
• Title（参考訳）: Rarity Determines Minimax Rates of Semantic Entropy from Weak Pairwise Judgments with a Known Channel
• Abstract要約: 言語モデルの意味論的エントロピーは、そのサンプルされた答えの意味のエントロピーである。 難易度は、何つの意味が稀であるかによって決定される。
• 参考スコア（独自算出の注目度）: 0.9668407688201359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The semantic entropy of a language model is the entropy of the meanings of its sampled answers. The meanings are never observed, and the entropy is estimated from the verdicts of a pairwise equivalence judge. Given the meanings of $n$ answers, a known channel declares each pair equivalent independently, with probability $q+Δ$ within a meaning and $q$ across meanings. At most $K$ meanings occur, and $q$ is bounded away from $0$ and $1$. For a weak judge, with $nΔ^2\to0$, the global minimax rate is set by distributions near a vertex of the simplex and overstates the difficulty elsewhere. We show that the difficulty is set by how many meanings can be rare. Over distributions with at most $s$ meanings below a fixed probability $τ<1/(K-s)$, the minimax squared risk is of order $N^{-1/s}$ for $s\ge2$, $N^{-1}\log^2(e+N)$ for $s=1$ and $N^{-1}$ for $s=0$, capped at one, where $N=n^KΔ^{2K-2}$. The matching lower bounds hold on every fixed polynomial window $nΔ^2\le n^{-κ}$. One estimator attains these rates without knowing $s$ or $τ$: it averages products of centered verdicts along all spanning trees of every $k$-set of answers, projects the resulting power sums onto the valid moment set and inverts them. The case $s=K-1$ gives the global rate $N^{-1/(K-1)}$ and the consistency threshold: with $Δ=n^{-γ}$ the entropy is uniformly consistently estimable exactly when $γ<K/(2K-2)$. On polynomial windows, the same estimator attains the sharp local minimax constant on shrinking neighborhoods of interior points with distinct probabilities. Restricting the average to stars multiplies the constant by $K^{K-3}$.
• Abstract（参考訳）: 言語モデルのセマンティックエントロピーは、そのサンプルされた回答の意味のエントロピーである。 意味は決して観察されず、エントロピーは対同値判事の評定から推定される。 n$の答えの意味が与えられたとき、既知のチャンネルはそれぞれのペアを独立に宣言し、確率$q+Δ$は意味の範囲内で、そして$q$は意味をまたいで宣言する。 最低でも$K$の意味は発生し、$q$は$0と$$から切り離されている。 弱い判断に対しては、$nΔ^2\to0$で、大域的なミニマックスレートは、単純体の頂点付近の分布によって設定され、他の場所では困難を過小評価する。 難易度は、何つの意味が稀であるかによって決定される。 固定確率$τ<1/(K-s)$未満の分布について、ミニマックス二乗リスクは位数$N^{-1/s}$ for $s\ge2$, $N^{-1}\log^2(e+N)$ for $s=1$ and $N^{-1}$ for $s=0$, capped at one, $N=n^KΔ^{2K-2}$である。 一致する下界は、すべての固定多項式ウィンドウ $nΔ^2\le n^{-κ}$ に保持する。 ある推定器は、$s$や$τ$を知らずにこれらの値を得る:それは、答えの k$-set のすべての木にまたがる中心的評定の積を平均化し、結果として得られるパワー和を有効なモーメントセットに投影し、それらを逆転させる。 例 $s=K-1$ は、大域レート $N^{-1/(K-1)}$ と一貫性しきい値を与える:$Δ=n^{-γ}$ のエントロピーは、$γ<K/(2K-2)$ のとき、一様に推定可能である。 多項式窓上では、同じ推定器は、異なる確率を持つ内点の縮小された近傍において、シャープな局所ミニマックス定数に達する。 平均から恒星への制限は、定数を$K^{K-3}$で乗算する。

関連論文リスト

• Geometry-Dependent Bounds for Online Non-Monotone DR-Submodular Maximization [55.29259818039367]
  凸閉集合上の逆オンライン非負の非単調DR-部分モジュラ函数について検討する。 学習者は、目的を観察する前に各アクションを学習し、後から最高の固定アクションと競合する。 定数対物列は、最適に多くの1次クエリでオフラインの$(4/9-varepsilon)$近似を生成する。
  論文  参考訳（メタデータ） (2026-09-30T18:26:29Z)
• Bias-Induced Crossover in Absolute Capacity of Dense Associative Memory [0.0]
  漸近マッチングは1-2q=O(N/Nl n/2rfloor-1)$でバイアスによって引き起こされる交叉を予測する。 条件付きクロストークをキャンセルするアクティビティ依存制御電位は、固定された$0q1/2$に対して$Nn-1/ln N$キャパシティを復元する。
  論文  参考訳（メタデータ） (2026-09-15T17:16:38Z)
• Tight Sampling Complexity with stochastic gradient oracles in Fixed Dimensions [5.603202398374589]
  ポテンシャルは$$-strongly convexと$L$-smoothであり、原点に関する半径$-1/2$の球に未知のモードがある。 Nstar_textTV=!left(log(1+)+ frac2right), ] $:=frac L$は条件数である。
  論文  参考訳（メタデータ） (2026-09-11T08:44:06Z)
• Local and Global Risk Bounds for Quantum Entropy Estimation under Projective-Design Measurements [0.5076419064097734]
  固定階数 1 の POVM の独立な結果からフォン・ノイマンエントロピーを推定するための下界を確立する。 回転平均のファンツリー引数は、$dge C$と$nge Cd$の場合に、少なくとも$(d/n)log2n/(4d)$という大域的ミニマックスリスクを与える。 また,最大混合状態付近の作用素-ノームボール半径$r$のリスクも特徴付ける。
  論文  参考訳（メタデータ） (2026-08-25T03:35:37Z)
• Exact Minimax One-Bit Unbiased Compression: Heavy-Tail Necessity and Finite-Randomness Approximation [7.764443932311498]
  ポイントワイズな1ビット圧縮機は、1ビットを送信しながら期待する全ての実際の入力を再構成する。 我々は、$mathbb R$でバイアスのないすべての公開コイン1ビット符号に対して、ソース平均再構成の2番目のモーメントが$m2+mathcal J(P)2$であることを証明する。
  論文  参考訳（メタデータ） (2026-08-20T07:29:09Z)
• Tight Sample Bounds for Renyi and Min-Entropy Estimation [4.866431869728017]
  サンプルからエントロピーを推定することは、情報理論とプロパティテストにおいて基礎となる。 定数加法精度に対する最小エントロピー推定が標本複雑性$(klog k)$であることを証明する。
  論文  参考訳（メタデータ） (2026-07-18T21:01:38Z)
• Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
  我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。 I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
  論文  参考訳（メタデータ） (2026-03-09T22:27:00Z)
• Computational Hardness of Private Coreset [84.99100741615423]
  与えられた点の入力集合に対して、コアセットは任意の候補解に対する$k$-meansの目的が乗法的な$(, 1/n(1))$ factor(およびいくつかの加法因子)まで保存されるような点の別の集合である。 no-time $(, 1/n(1))$-DPアルゴリズムは、ある定数$> 0$(およびいくつかの定数加法因子)に対して$ell_infty$-metricの$k$-meansのコアセットを計算することができることを示す。 $k$-means in the
  論文  参考訳（メタデータ） (2026-02-19T15:58:49Z)
• Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
  我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。 我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。 新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
  論文  参考訳（メタデータ） (2023-04-04T04:32:29Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。