論文の概要: Estimating Rare Events in Language Models with Proper Evaluation
- arxiv url: http://arxiv.org/abs/2607.18454v1
- Date: Mon, 20 Jul 2026 19:07:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.220574
- Title: Estimating Rare Events in Language Models with Proper Evaluation
- Title（参考訳）: 適切な評価による言語モデルにおける希少事象の推定
- Authors: Nikita Y. Parulekar, Anqi Liu,
- Abstract要約: GA-AMLS(Gradient Activation Adaptive Multi-Level Splitting)を導入する。
GA-AMLSは、言語モデルの連続活性化空間に希少なモンテカルロ法を適用する。
また、ゼロ推定に対して有限な適切なスコアリング規則であるシフトパワー・ブレグマン(SPB)ロス(英語版)を提案する。
- 参考スコア（独自算出の注目度）: 16.1901795614153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantifying the risk of rare failures in language models, such as those triggered by adversarial distribution shifts or very large-scale deployments, requires estimating probabilities far too small for random sampling. While recent work has formalized Low Probability Estimation, existing pipelines remain fragile in the rarest regimes: estimators can suffer zero-estimate collapse or systematic bias, and standard evaluation losses can become unstable or poorly matched to asymmetric safety costs. In this work, we introduce Gradient Activation Adaptive Multi-Level Splitting (GA-AMLS), which adapts rare-event Monte Carlo methods to the continuous activation space of language models. Specifically, GA-AMLS uses a gradient-based MCMC kernel to navigate activation space, eliminating the zero-estimate collapse of input-space search and replacing the independence assumptions of prior activation-space estimators with conditional sampling under an explicit, heavier-tailed activation prior. We also propose the Shifted-Power Bregman (SPB) Loss, a proper scoring rule that remains finite for zero-estimates and offers tunable asymmetry between underestimation and overestimation penalties. Experiments on small transformer models reveal a bias-variance tradeoff: GA-AMLS achieves the lowest loss under symmetric evaluation, reducing average log-space squared error relative to the strongest baseline across model sizes, while methods with overestimation bias prevail under asymmetric penalties. Our findings highlight that estimator choice should be matched to deployment context. More broadly, our work establishes activation space as a tractable domain for rare-event estimation in language models, circumventing the brittleness of discrete input-space search.
- Abstract（参考訳）: 敵対的な分布シフトや大規模展開によって引き起こされるような言語モデルにおける稀な失敗のリスクの定量化には、ランダムサンプリングにははるかに小さな確率を見積もる必要がある。
最近の研究は低確率推定を定式化したが、既存のパイプラインは希少な状況では脆弱なままであり、推定器はゼロ見積りの崩壊や系統的バイアスを被り、標準的な評価損失は不安定になり、非対称な安全コストと不一致となる。
本研究では,モンテカルロ法を言語モデルの連続的アクティベーション空間に適応させるGA-AMLS(Gradient Activation Adaptive Multi-Level Splitting)を提案する。
具体的には、GA-AMLSは、勾配ベースのMCMCカーネルを使用して、アクティベーション空間をナビゲートし、入力空間探索のゼロ推定崩壊を排除し、アクティベーション空間推定器の独立仮定を、明示的で重いアクティベーション前のアクティベートの下で条件付きサンプリングに置き換える。
シフトパワー・ブレグマン(SPB)損失(英語版)も提案する。これはゼロ推定に対して有限であり、過小評価と過大評価の間の調整可能な非対称性を提供する適切なスコアリングルールである。
GA-AMLSは、モデルサイズで最強のベースラインに対する平均対数空間二乗誤差を減らし、非対称なペナルティの下で過大評価バイアスを持つ手法が一般的である。
この結果から,評価対象の選択はデプロイメントコンテキストと一致すべきであることが示唆された。
より広範に、我々の研究は、離散的な入力空間探索の脆さを回避し、言語モデルにおける希少値推定のための抽出可能な領域として活性化空間を確立する。
関連論文リスト
- Mind the Residual Gap: Probabilistic Downscaling under Real-World Bias [11.400279490725042]
確率的なダウンスケーリングは、大気科学、気候モデリング、その他のマルチスケール物理システムにとって重要な課題である。
広く使われているパラダイムは、問題を決定論的平均予測器に分解し、続いて残留発生器に分解する。
本研究は,根本原因が標的誤診であり,訓練中に誘発される残差分布は,下降バイアスにより試験時間に要求されるものと体系的に異なることを示す。
論文 参考訳（メタデータ） (2026-06-29T18:47:34Z) - Using Large Language Models as Low-Cost Statistical Estimators for Human-Response Data [0.282023281338763]
本研究では,事前学習した大言語モデルが,2乗損失下での条件付き期待値のリスク等価推定を誘導することを示す。
有限サンプル濃度境界と明確な決定規則を持つキャリブレーションプロトコルを提供する。
論文 参考訳（メタデータ） (2026-06-29T14:34:28Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳（メタデータ） (2026-06-10T21:07:49Z) - VAE-Inf: A statistically interpretable generative paradigm for imbalanced classification [8.677199689027772]
生成的モデリングと識別的分類のギャップを埋める2段階の枠組みを提案する。
推論のために、自然な仮説テストの解釈を受け入れるプロジェクションベースのスコアを導入する。
様々な実世界のベンチマークの実験は、我々のフレームワークが他のアプローチと競合する性能を達成していることを示している。
論文 参考訳（メタデータ） (2026-04-28T07:50:56Z) - Causal Inference as Distribution Adaptation: Optimizing ATE Risk under Propensity Uncertainty [0.0]
我々は、分散シフトの下で、ATE推定をテキストドメイン適応問題として再フレーミングする。
結果モデルの共同学習を行うためのtextbfJoint Robust Estimator (JRE) を提案する。
論文 参考訳（メタデータ） (2025-12-19T21:40:46Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。
これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。
因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
論文 参考訳（メタデータ） (2023-05-22T07:37:12Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。