Fugu-MT 論文翻訳(概要): Correcting the LogQ Correction: Revisiting Sampled Softmax for Large-Scale Retrieval

論文の概要: Correcting the LogQ Correction: Revisiting Sampled Softmax for Large-Scale Retrieval

arxiv url: http://arxiv.org/abs/2507.09331v1
Date: Sat, 12 Jul 2025 16:16:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:22.969442
Title: Correcting the LogQ Correction: Revisiting Sampled Softmax for Large-Scale Retrieval
Title（参考訳）: LogQ補正の修正:大規模検索のためのサンプルソフトマックスの再検討
Authors: Kirill Khrylchenko, Vladimir Baikalov, Sergei Makeev, Artem Matveev, Sergei Liamaev,
Abstract要約: 2-towerニューラルネットワークは、レコメンデータシステムにおいて、検索段階の一般的なアーキテクチャである。ウェブスケールの設定では、アイテムカタログはしばしば禁止的に大きく、完全なソフトマックスが実現できない。実用的で広く採用されているアプローチの1つは、現在のミニバッチのアイテムから負が引き出される、バッチ内陰性を使うことである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Two-tower neural networks are a popular architecture for the retrieval stage in recommender systems. These models are typically trained with a softmax loss over the item catalog. However, in web-scale settings, the item catalog is often prohibitively large, making full softmax infeasible. A common solution is sampled softmax, which approximates the full softmax using a small number of sampled negatives. One practical and widely adopted approach is to use in-batch negatives, where negatives are drawn from items in the current mini-batch. However, this introduces a bias: items that appear more frequently in the batch (i.e., popular items) are penalized more heavily. To mitigate this issue, a popular industry technique known as logQ correction adjusts the logits during training by subtracting the log-probability of an item appearing in the batch. This correction is derived by analyzing the bias in the gradient and applying importance sampling, effectively twice, using the in-batch distribution as a proposal distribution. While this approach improves model quality, it does not fully eliminate the bias. In this work, we revisit the derivation of logQ correction and show that it overlooks a subtle but important detail: the positive item in the denominator is not Monte Carlo-sampled - it is always present with probability 1. We propose a refined correction formula that accounts for this. Notably, our loss introduces an interpretable sample weight that reflects the model's uncertainty - the probability of misclassification under the current parameters. We evaluate our method on both public and proprietary datasets, demonstrating consistent improvements over the standard logQ correction.
Abstract（参考訳）: 2-towerニューラルネットワークは、レコメンデータシステムにおいて、検索段階の一般的なアーキテクチャである。これらのモデルは通常、アイテムカタログよりもソフトマックスの損失で訓練される。しかし、Webスケールの設定では、アイテムカタログはしばしば禁止的に大きくなり、完全なソフトマックスが実現できない。一般的な解はサンプリングされたソフトマックスであり、サンプルされた少数の負の値を用いて全ソフトマックスを近似する。実用的で広く採用されているアプローチの1つは、現在のミニバッチのアイテムから負が引き出される、バッチ内陰性を使うことである。しかし、これはバイアスをもたらし、バッチで頻繁に現れるアイテム(すなわち人気のあるアイテム)はより過度に罰せられる。この問題を軽減するために、logQ correctと呼ばれる一般的な業界技術は、バッチに現れるアイテムのログ確率を減らして、トレーニング中にロジットを調整する。この補正は、勾配のバイアスを解析し、効果的に2倍の重要サンプリングを適用し、バッチ内分布を提案分布として用いた。このアプローチはモデル品質を改善するが、バイアスを完全に排除するわけではない。本研究では、logQ補正の導出を再考し、これは微妙だが重要な詳細を見落としていることを示す: 分母の正の項目はモンテカルロサンプリングではない。本稿では,これを考慮に入れた修正式を提案する。特に、我々の損失は、モデルの不確実性(現在のパラメータの下での誤分類の確率)を反映した解釈可能なサンプル重量を導入する。提案手法をパブリックデータセットとプロプライエタリデータセットの両方で評価し,標準のlogQ補正よりも一貫した改善を実証した。

関連論文リスト

Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。高品質な出力を生成するには、多くの離散化ステップが必要です。クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文参考訳（メタデータ） (2025-02-04T16:59:03Z)
Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文参考訳（メタデータ） (2024-06-05T13:36:38Z)
Reducing Bias in Pre-trained Models by Tuning while Penalizing Change [8.862970622361747]
大量のデータに基づいてトレーニングされた深層モデルには、トレーニング期間中に存在する暗黙のバイアスが組み込まれていることが多い。新しいデータは、しばしば高価で、自律運転や医療意思決定のような分野では入手が困難である。本稿では,事前学習モデルを用いて,事前検出したバイアスを軽減するために重みを適応する変化ペナライゼーションに基づく手法を提案する。
論文参考訳（メタデータ） (2024-04-18T16:12:38Z)
Post-Hoc Reversal: Are We Selecting Models Prematurely? [13.910702424593797]
ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。予備的な分析は、これらの変換が、誤ラベルされた例の影響を抑えることによって、逆転を引き起こすことを示唆している。ポストホック選択(post-hoc selection)は、ポストホックメトリクスがモデル開発決定を通知するシンプルな手法である。
論文参考訳（メタデータ） (2024-04-11T14:58:19Z)
Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
論文参考訳（メタデータ） (2024-01-13T12:33:04Z)
Towards Optimal Statistical Watermarking [95.46650092476372]
仮説テスト問題として定式化して統計的透かしを研究する。我々の定式化の鍵は、出力トークンと拒絶領域の結合である。一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
論文参考訳（メタデータ） (2023-12-13T06:57:00Z)
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文参考訳（メタデータ） (2023-06-20T16:58:00Z)
Crowdsourcing subjective annotations using pairwise comparisons reduces bias and error compared to the majority-vote method [0.0]
本稿では,ランダムな誤差と測定バイアスが,主観的構成物のクラウドソースアノテーションにどのように入るかを理解するための理論的枠組みを提案する。次に、Eloスコアとペア比較ラベリングを組み合わせたパイプラインを提案し、両種類の測定誤差を低減するために、ユビキタスな多数投票法より優れていることを示す。
論文参考訳（メタデータ） (2023-05-31T17:14:12Z)
GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文参考訳（メタデータ） (2022-10-24T03:00:01Z)
Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文参考訳（メタデータ） (2022-09-30T17:33:00Z)
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文参考訳（メタデータ） (2020-06-19T05:08:43Z)
Addressing Class-Imbalance Problem in Personalized Ranking [47.11372043636176]
ペアランク付けモデルのクラスバランス問題を緩和するために,効率的なエンファンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアンダーラインアン VINSは、与えられた正の項目よりも大きい負の候補を受け入れる傾向にある確率を拒絶するバイアスサンプリングである。
論文参考訳（メタデータ） (2020-05-19T08:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。