論文の概要: Two-Level Softmax Sampling Done Right: Correcting Bias from Size Imbalance and Dispersion

• arxiv url: http://arxiv.org/abs/2610.10483v1
• Date: Wed, 07 Oct 2026 17:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.089552
• Title: Two-Level Softmax Sampling Done Right: Correcting Bias from Size Imbalance and Dispersion
• Title（参考訳）: 2レベルソフトマックスサンプリング右:サイズ不均衡と分散からバイアスを補正する
• Abstract要約: 2レベルソフトマックス(2LS)サンプリングは、サブ線形時間サンプリングを可能にする一般的な代替手段である。 2LSは,クラスタの重み付けに起因した,系統的かつ望ましくないサンプリングバイアスを導入している。 サイズ補正2LS(S-2LS)とサイズ補正2LS(SD-2LS)の2つのサンプリング手法を提案する。 5つの大規模データセットの詳細な実験により,本手法のサンプリング特性の改善が検証された。
• 参考スコア（独自算出の注目度）: 1.8620637029128544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from a softmax distribution is a fundamental operation in machine learning, but its linear complexity in the number of items makes exact sampling impractical at scale. Two-level softmax (2LS) sampling is a popular alternative enabling sublinear-time sampling. Assuming items are partitioned into clusters, 2LS first samples a cluster and then an item within it. In this paper, we show that, despite its advantages, 2LS introduces systematic and undesirable sampling biases, which arise from misweighting clusters by ignoring both cluster size imbalance and intra-cluster similarity dispersion. We propose two sampling methods, Size-Corrected 2LS (S-2LS) and Size- and Dispersion-Corrected 2LS (SD-2LS), which correct these biases and provide provably better softmax approximations with negligible to non-existent computational overhead. In-depth experiments on five large-scale datasets validate the improved sampling properties of our methods. We recommend their consistent use in place of standard 2LS in future work.
• Abstract（参考訳）: ソフトマックス分布からのサンプリングは、機械学習の基本的な操作であるが、アイテム数における線形複雑性は、スケールにおいて正確なサンプリングを非現実的にする。 2レベルソフトマックス(2LS)サンプリングは、サブ線形時間サンプリングを可能にする一般的な代替手段である。 アイテムがクラスタに分割されると仮定すると、2LSはまずクラスタをサンプリングし、その中のアイテムをサンプリングする。 本稿では,その利点にもかかわらず,クラスタサイズ不均衡とクラスタ内類似性分散の両面を無視することにより,クラスタの重み付けから生じる,系統的かつ望ましくないサンプリングバイアスを2LSに導入することを示す。 本研究では,これらのバイアスを補正し,既存の計算オーバーヘッドに非依存なソフトマックス近似を提供する,サイズ補正2LS (S-2LS) とサイズ補正2LS (SD-2LS) の2つのサンプリング手法を提案する。 5つの大規模データセットの詳細な実験により,本手法のサンプリング特性の改善が検証された。 今後,標準2LSの代わりに一貫した利用を推奨する。

関連論文リスト

• Two-Sample Testing via Generative Processes [60.42943145582429]
  生成輸送は、2つのサンプルが同じ分布から来るかどうかを決定する新しい方法を提供する。 2つのサンプルの間に直接補間体を構築し、対称スケジュールでは、その法則が時間反射の下で不変であることを観察する。 したがって、t と 1-t の辺辺が、Jensen-Shannon の発散を計算することで一致するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-10-06T12:48:27Z)
• Distributionally Robust K-Means Clustering [18.037323759791658]
  K平均のクラスタリングは、異常値、分布シフト、サンプルサイズに制限があることで知られている。 我々はそのような病態から保護する分布的に堅牢な変種を開発する。 トラクタブル双対は、ハード割り当てを滑らかに重み付けされたものに置き換えるソフトクラスタリングスキームを得る。
  論文  参考訳（メタデータ） (2026-04-13T07:32:36Z)
• Learnable Chernoff Baselines for Inference-Time Alignment [64.81256817158851]
  本稿では,指数関数的に傾いたカーネルから効率よく,およそサンプリングする方法として,Learnerable Chernoff Baselinesを紹介した。 理想的なモデルに対する全変量保証を確立し、LCBサンプリングが理想的拒絶サンプリングと密接に一致するような連続的および離散的な拡散設定を実証する。
  論文  参考訳（メタデータ） (2026-02-08T00:09:40Z)
• SMOGAN: Synthetic Minority Oversampling with GAN Refinement for Imbalanced Regression [0.0]
  不均衡回帰とは、ターゲット変数が歪んだ予測タスクを指す。 この歪みは、高密度領域に集中する機械学習モデル、特にニューラルネットワークを妨げる。 不均衡回帰のための2段階オーバーサンプリングフレームワークであるSMOGANを提案する。
  論文  参考訳（メタデータ） (2025-04-29T20:15:25Z)
• Distributional Preference Alignment of LLMs via Optimal Transport [36.95053112313244]
  最適輸送(AOT)によるアライメント(Alignment)と呼ばれるLLMの分布選好アライメント手法を提案する。 AOTは、正のサンプルの報酬分布を負のサンプルの分布の第1次において支配的に支配することにより、LLMを未ペアの選好データに整合させる。 AOTは,Open LLM BenchmarksとAlpacaEvalで評価すると,7Bモデルの最先端モデルにつながることを示す。
  論文  参考訳（メタデータ） (2024-06-09T18:41:05Z)
• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Midpoint Regularization: from High Uncertainty Training to Conservative Classification [19.252319300590653]
  Label Smoothing (LS)は、過信出力分布の生成からモデルをペナライズすることでモデル一般化を改善する。 PLSはまず、ランダムなサンプルペアを平均化して中点サンプルを作成し、その後、各中点サンプルのトレーニング中に滑らかな分布を学習し、その結果、トレーニングのための高い不確実性ラベルを持つ中点を学習する。
  論文  参考訳（メタデータ） (2021-06-26T00:31:46Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)
• Efficient Clustering for Stretched Mixtures: Landscape and Optimality [4.2111286819721485]
  本稿では,2つの楕円分布の平衡混合から抽出された未ラベルのサンプルを受信する正準クラスタリング問題について考察する。 非最適クラスタリング関数は、サンプルサイズが一定の統計的目標を超えると、望ましい幾何学的性質を示す。
  論文  参考訳（メタデータ） (2020-03-22T17:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。