論文の概要: How Accurate Is Accurate Enough?
- arxiv url: http://arxiv.org/abs/2609.38785v1
- Date: Wed, 30 Sep 2026 02:14:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.01826
- Title: How Accurate Is Accurate Enough?
- Title(参考訳): 正確な精度はどれくらいか?
- Abstract要約: 我々は、同じ大きさの誤りが、異なる学習状態における損失、予測、勾配に対してどのように異なる結果をもたらすかを研究する。
損失、確率、予測、特徴勾配にプリミティブエラーを伝播させる有限エラー保証を確立する。
我々は,高次元フォン・ミセス・フィッシャー学習におけるフレームワークの完全なインスタンス化を行う。
- 参考スコア(独自算出の注目度): 3.231627301803698
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How accurate must a numerical approximation be within a learning system? Primitive error alone cannot answer this question: errors of the same magnitude can have very different consequences for losses, predictions, and gradients at different learning states. We study this question through the learning objective itself. The objective weights classwise numerical errors nonuniformly according to the current state, so the importance of an error depends not only on its magnitude but also on the class it affects and the weight that class receives. For softmax cross-entropy, we characterize this coupling between class weights and errors and derive the exact extrema of the signed loss change over pairings of fixed non-target probability and score-error multisets, with the target probability and target score error held fixed. Building on this structure, we establish finite-error guarantees that propagate primitive error to losses, probabilities, predictions, and feature gradients, then invert these guarantees to obtain a certified primitive tolerance for the current state under prescribed learning-level error requirements. We give a complete instantiation of the framework in high-dimensional von Mises-Fisher learning. Controlled interventions and a large collection of saved learning states show that identical primitive error can produce substantially different learning consequences, while certified numerical tolerances vary by orders of magnitude across states under the same learning-level requirements. These results show that the adequacy of a numerical approximation must be assessed in relation to the current learning state and the quantity to be preserved; numerical accuracy should itself be treated as part of the learning objective.
- Abstract(参考訳): 数値近似は学習システム内でどの程度正確でなければならないか?
同じ大きさのエラーは、異なる学習状態における損失、予測、勾配に対して、非常に異なる結果をもたらす可能性がある。
我々はこの質問を学習目的そのものを通して研究する。
目的は、現在の状態に応じて非一様に等級数誤差を重み付けするので、誤差の重要性は、その大きさだけでなく、それが影響するクラスや、クラスが受ける重みにも依存する。
ソフトマックスのクロスエントロピーでは、このクラス重みと誤差の結合を特徴付け、固定された非ターゲット確率とスコアエラー多重セットのペアリングにおける符号付き損失変化の正確なエクストリームを、目標確率と目標スコア誤差が固定された状態で導出する。
この構造に基づいて、損失、確率、予測、特徴勾配にプリミティブなエラーを伝播する有限エラー保証を確立し、次にこれらの保証を逆転して、所定の学習レベルのエラー要件の下で現在の状態に対する認証されたプリミティブな寛容を得る。
我々は,高次元フォン・ミセス・フィッシャー学習におけるフレームワークの完全なインスタンス化を行う。
制御された介入と保存された学習状態の大規模なコレクションは、同一の原始的誤りが、全く異なる学習結果をもたらすことを示した。
これらの結果から, 数値近似の精度は, 現在の学習状況と保存すべき量との関係で評価されなければならないことが示唆された。
関連論文リスト
- Same Loss, Different Gradients [8.820905868194686]
目的が有限個の特殊関数繰り返し、カスタム後方規則、数値クリッピングに依存する場合、微分可能な学習は失敗する可能性があることを示す。
高次元のvon MisesFisher学習では、実際の数値的な実装は、同じ学習状態で同じ前方のスコアと損失を生成することができる。
我々は、ポテンシャルとその導関数を共同で構築し、前方のコヒーレンスを確保する固定深度解析的実現法であるAR/FRを紹介する。
論文 参考訳(メタデータ) (2026-09-30T02:14:34Z) - A Novel Framework for Uncertainty Quantification via Proper Scores for Classification and Beyond [1.5229257192293202]
本稿では,機械学習における不確実性定量化のための新しい枠組みを提案する。
具体的には、カーネルベースの適切なスコアであるカーネルスコアを用いて、サンプルベースの生成モデルを評価する。
キャリブレーション・シャープネスの分解を分類を超えて一般化し、適切なキャリブレーション誤差の定義を動機付ける。
論文 参考訳(メタデータ) (2025-08-25T13:11:03Z) - Epistemic Errors of Imperfect Multitask Learners When Distributions Shift [21.675126545912423]
ベイズニューラルネットワークのような不確かさを意識した機械学習者は、点予測の代わりに不確かさの定量化を出力する。
我々は、再現可能な(緊急な)不確実性から生じるエラーを識別し、排除する方法を特徴付けるための、原則化されたフレームワークを提供する。
論文 参考訳(メタデータ) (2025-05-29T14:46:03Z) - One Rank at a Time: Cascading Error Dynamics in Sequential Learning [8.61384097894607]
ランク1のサブスペースを逐次学習する際にエラーがどのように伝播するかを示す。
我々の貢献は、このシーケンシャルなプロセスにおけるエラー伝播の特徴である。
これらの誤りは予測可能な方法で複雑であり、アルゴリズム設計と安定性の保証の両方に影響を及ぼす。
論文 参考訳(メタデータ) (2025-05-28T17:16:24Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳(メタデータ) (2025-01-31T15:03:54Z) - Classification Error Bound for Low Bayes Error Conditions in Machine Learning [50.25063912757367]
機械学習における誤りミスマッチとKulback-Leibler分散の関係について検討する。
多くの機械学習タスクにおける低モデルに基づく分類誤差の最近の観測により、低ベイズ誤差条件に対する分類誤差の線形近似を提案する。
論文 参考訳(メタデータ) (2025-01-27T11:57:21Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳(メタデータ) (2023-10-26T04:54:39Z) - Learning perturbation sets for robust machine learning [97.6757418136662]
我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。
学習した摂動集合の質を定量的かつ質的に測定する。
我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
論文 参考訳(メタデータ) (2020-07-16T16:39:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。