論文の概要: K-ABENA: K-Adaptive Backpropagation with Error-based N-exclusion Algorithm : (Compensated Loss-Based Sample Exclusion with Unbiased Gradient Estimation)

• arxiv url: http://arxiv.org/abs/2607.05903v1
• Date: Tue, 07 Jul 2026 06:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.415261
• Title: K-ABENA: K-Adaptive Backpropagation with Error-based N-exclusion Algorithm : (Compensated Loss-Based Sample Exclusion with Unbiased Gradient Estimation)
• Title（参考訳）: K-ABENA:Error-based N-exclusion Algorithmを用いたK-Adaptive Backpropagation : (不偏勾配推定を用いた補償ロスベースサンプル抽出)
• Abstract要約: K-ABENAK-Adaptive Backpropagation with Error-based N-exclusionは選択的な計算フレームワークである。 これは、少量の低損失("ミニ")観測を除外することで、イット当たりの計算トレーニングコストを削減する。 ラベル制限下で0.386の精度(ベースライン:0.832)、極端な不均衡下で0.53のAUCに崩壊する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present K-ABENA (K-Adaptive Backpropagation with Error-based N-exclusion Algorithm), a selective gradient computation framework that reduces per-iteration training cost by excluding a fraction of low-loss ("minor") observations from the backward pass. Its canonical form (v3) combines a defensive-mixture sampling design over the minor set with Horvitz-Thompson inverse-probability reweighting, yielding a design-unbiased Horvitz-Thompson gradient estimator (Lemma 2) and whose self-normalized practical variant carries a bias of order O(1/m) with an explicit constant (Lemma 3). We prove an O(1/sqrt(T)) non-convex convergence guarantee for SGD under the estimator, with an additive term that quantifies the residual bias (Theorem 1). We further prove that uncompensated loss-based selection - a family that includes OHEM, SBP, and the two earlier K-ABENA variants - admits no stationary point at any minimizer where its selection bias is bounded away from zero (Proposition 2), and we quantify this failure empirically: at 0.17% class imbalance, uncompensated variants reach test AUC 0.53-0.62 versus 0.9998 for full-batch SGD, while the compensated estimator attains 0.9991 at identical 28.4% compute savings. On real datasets (Breast Cancer, Digits, Wine, Diabetes) the compensated estimator is statistically indistinguishable from full-batch SGD (paired permutation tests, p >= 0.5; Section 7) while saving 28-54% of per-epoch gradient computation. A biased "regularized mode" (the earlier half-domain variant) is retained as an option with a proven exact bias decomposition (Lemma 5) and quantified contraindications: it collapses to 0.386 accuracy under 40% label noise (baseline: 0.832) and to 0.53 AUC under extreme imbalance. Every advantage and every limitation reported in this paper is either proved or measured; all experiments are CPU-scale (NumPy/scikit-learn) and their scope is stated explicitly.
• Abstract（参考訳）: 本稿では,K-ABENA(K-Adaptive Backpropagation with Error-based N-exclusion Algorithm)を提案する。 その正準形式 (v3) は、マイナー集合上の防御混合サンプリング設計と、Horvitz-Thompson逆確率再重み付けを組み合わせ、設計の偏りのないHorvitz-Thompson勾配推定器 (Lemma 2) を生成し、その自己正規化実用多様体はO(1/m) の次数バイアスと明示定数 (Lemma 3) を持つ。 我々は、推定子の下でSGDのO(1/sqrt(T))非凸収束保証を、残留バイアスを定量化する加法項で証明する(定理1)。 さらに、OHEM、SBP、K-ABENAの2つの変種を含む非補償損失に基づく選択は、その選択バイアスがゼロから離れた任意の最小値において静止点を許容せず(仮説2)、この失敗を実証的に定量化する: 0.17%のクラス不均衡で、非補償変種がフルバッチSGDに対してAUC 0.53-0.62 に対して 0.9998 に達する。 実際のデータセット(Breast Cancer, Digits, Wine, Diabetes)では、補償された推定器は全バッチのSGD(p >=0.5; 第7節)と統計的に区別できない。 偏りのある「正規化モード」(初期の半領域の変種)は、正確な偏差分解(Lemma 5)と定量化された反指数のオプションとして保持され、40%のラベルノイズ(ベースライン:0.832)の下で0.386の精度で崩壊し、極端に不均衡な状態で0.53のAUCに崩壊する。 実験はすべてCPUスケール(NumPy/scikit-learn)であり、そのスコープは明確に述べられている。

関連論文リスト

• Semiparametric Inference for Conditional Shapley Feature Importance [0.0]
  本稿では, 条件定式化について検討し, その実条件分布の下で, 対数外特徴を積分する。 そこで本研究では, K-fold cross-fitting とU-statistic correct of the squared loss intervalを提案する。 ピンスカー型境界は、作業コプラクラスを誤って特定するバイアスを定量化し、ワインコプラは条件付きサンプリングが可能である。
  論文  参考訳（メタデータ） (2026-09-09T15:19:24Z)
• Optimal Stratified Allocation for Rare-Event Onset Forecasting in Dependent Sequences [2.2632368327435732]
  我々は,K0とK1を2つの層に配置した設計の下で,サブサンプルKnから全体のリスクを推定する。 重み付きリスク推定器の厳密な有限個体群分散をクラス条件によるサンプリングで導出する。
  論文  参考訳（メタデータ） (2026-09-03T19:38:01Z)
• EDGE: a closed-form directed test for the calibration of probabilistic binary classifiers [0.0]
  本稿では,正規確率分類器の校正テストであるEDGEを提案し,ロジスティック回帰法を提案する。 EDGEは、同一のビン付き予測観測テーブルを信頼性図のプロットとして読み出し、その標準化されたビン残差をスムーズなキャリブレーション歪みの小さな前提に投影する。 リンクと特徴の相違により、既定のデフォルトが22のシナリオのうち、19のシナリオで全ての競合するビン付きテストに導かれるか、あるいは結び付けられ、再適合ベースのStukelスコアテストが20%から28%のサンプルで分離される場合、計算可能のままであった。
  論文  参考訳（メタデータ） (2026-08-20T19:06:05Z)
• Hierarchical Empirical-Bayes Naive Bayes: Minimax Smoothing and Calibration with AODE Extension [2.423836984571605]
  階層的経験的ベイズ・ネイブベイズ(HEB-NB)を提案する。 各クラス特徴条件確率は、データ順応的に学習されるディリクレによって滑らか化される。 31のUCIとOpenMLベンチマークで、HEB-NBは確率的指標でFriedmanランキングで最高の成績を収めている。
  論文  参考訳（メタデータ） (2026-08-11T17:21:31Z)
• Laplace-Fisher Gate Identities for Optimal Matrix-Gated Blended Score Estimation [0.0]
  Laplace-Fisher Gate Identity (LFGI) ベイズ逆問題に対する正規化密度評価のための有限参照LFGI推定器 LFGIと既知のモデルエビデンスを用いた実験は、ガウスと非ガウスの両方の設定における絶対的なエビデンス校正をチェックする。
  論文  参考訳（メタデータ） (2026-06-23T21:00:32Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Heuristic Pathologies and Further Variance Reduction via Uncertainty Propagation in the AIVAT Family of Techniques [62.94836578759359]
  AIVAT推定の不確かさを定量化するために、不確実性がどのように伝播できるかを示す。 実験では,1万本のポーカーハンドのデータセットを用いて,病態と不確実性を示す。
  論文  参考訳（メタデータ） (2026-05-14T02:04:26Z)
• Bias-Corrected Adaptive Conformal Inference for Multi-Horizon Time Series Forecasting [0.0]
  アダプティブ・コンフォーマル推論(Adaptive Conformal Inference, ACI)は、分散シフト中の時系列のカバレッジ保証を備えた、分布のない予測間隔を提供する。 状態変化の後、ベース予測器が永続的バイアスを発生させると、ACIは左右対称に間隔を広げて補償し、不要に保守的な帯域を生成する。 本稿では,予測バイアスの指数重み付きオンライン移動平均(EWM)で標準ACIを増大させるバイアス補正ACI(BC-ACI)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T19:33:59Z)
• Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities [0.0]
  適応的な割り当ての下では、確率は変化し続けるため、AIPW/DMLインクリメントの予測可能な2次変動はランダムのままである。 本研究では,2次変動によって推定される偏差が,分散安定化を伴わずとも条件的に誤校正されていることを示す。
  論文  参考訳（メタデータ） (2026-02-17T13:12:31Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Online Covariance Estimation in Nonsmooth Stochastic Approximation [14.818683408659764]
  非滑らかな変分包含問題を解くために近似法(SA)を適用することを検討する。 我々の収束構造は、統計的推定法で最もよく知られているものを確立する。
  論文  参考訳（メタデータ） (2025-02-07T20:16:51Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。