論文の概要: Overfitting Mitigation via Singular Value Decomposition in Minimum Bayes Risk Decoding

• arxiv url: http://arxiv.org/abs/2609.01135v1
• Date: Tue, 01 Sep 2026 12:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.618318
• Title: Overfitting Mitigation via Singular Value Decomposition in Minimum Bayes Risk Decoding
• Title（参考訳）: 最小ベイズリスク復号における特異値分解による緩和のオーバーフィッティング
• Authors: Riza Setiawan Soetedjo, Yusuke Sakai, Hidetaka Kamigaito, Katsuhiko Hayashi, Taro Watanabe,
• Abstract要約: 本稿では,一対のユーティリティ行列をノイズ情報信号としてフレーム化するSVD-MBRを提案する。 実験により、SVD-MBRは復号化に成功し、一般化されたメトリクスの範囲でかなりの利得が得られることが示された。
• 参考スコア（独自算出の注目度）: 53.9009465845701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimum Bayes Risk (MBR) decoding enables high-quality text generation by selecting the hypothesis that maximizes a utility metric over sampled pseudo-references. However, it is highly susceptible to metric overfitting: it can irregularly inflate the chosen utility metric at the direct expense of other unoptimized evaluation metrics. To mitigate this, we introduce SVD-MBR, which frames the pairwise utility matrix as a noisy information signal. By computing a low-rank approximation via Singular Value Decomposition (SVD) and retaining only the top-$k$ components, we effectively decouple true consensus from metric noise. Experiments demonstrate that SVD-MBR successfully regularizes decoding, yielding substantial gains across a range of generalized metrics. Furthermore, we reveal that this denoising is metric-dependent: neural metrics encode a robust low-rank consensus ideal for SVD, whereas surface-level metrics struggle to separate signal from metric noise.
• Abstract（参考訳）: 最小ベイズリスク (MBR) 復号化は、サンプルの擬似参照に対して有効基準を最大化する仮説を選択することによって、高品質なテキスト生成を可能にする。 しかし、他の最適化されていない評価指標の直接的な費用で選択された効用指標を不規則にインフレさせることができるため、メートル法オーバーフィッティングには極めて敏感である。 これを軽減するために,一対のユーティリティ行列をノイズ情報信号としてフレーム化するSVD-MBRを導入する。 Singular Value Decomposition (SVD) による低ランク近似を計算し、トップ$kの成分のみを保持することにより、真のコンセンサスをメトリックノイズから効果的に分離する。 実験により、SVD-MBRは復号化に成功し、一般化されたメトリクスの範囲でかなりの利得が得られることが示された。 ニューラルメトリックは、SVDのロバストな低ランクコンセンサス理想を符号化するのに対して、表面レベルのメトリクスはメートル法ノイズから信号を切り離すのに苦労する。

関連論文リスト

• Noisy-Channel Minimum Bayes Risk Decoding [58.87954687016989]
  最小ベイズリスク(MBR)復号化は、最大アフターイ復号化(MAP)よりも堅牢で高品質なテキスト生成をもたらす。 仮説選択は、与えられた擬似参照で条件付けられた期待された実用性スコアを計算する。 仮説-参照-参照-参照-仮説の方向性効果の両方を考慮することが重要である。
  論文  参考訳（メタデータ） (2026-07-06T15:14:13Z)
• Robust Recommendation from Noisy Implicit Feedback: A GMM-Weighted Bayes-label Transition Matrix Framework [3.91492263903903]
  本稿では、ロバストGMM重み付きベイズラベル遷移行列フレームワーク(RGBT)を提案する。 同時に、完全なサンプル利用を保証し、一貫した見積もりを提供し、重要なことに、見積もりのばらつきを著しく低減する。
  論文  参考訳（メタデータ） (2026-05-20T05:20:33Z)
• Optimal Null-Constrained Source-Basis Sensing in a Time-Reversed Young Interferometer [0.0]
  時間反転型ヤング干渉計(TRY)における非制限パラメータ推定の理論を開発する。 本稿では,パラメータの1次感度を有限に保ったまま,真のメロジカルヌルを強制するソースパターンを設計する方法を示す。 これらの結果から, ソースベイズヌルエンジニアリングは, 微分モードセンシングにおいて, 明確かつ実用的なモダリティであることがわかった。
  論文  参考訳（メタデータ） (2026-04-11T18:54:36Z)
• Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation [50.83502171176548]
  Maximum a Posteriori (MAP) を用いた最新造形ESD法 生成ESDモデルに最小ベイズリスク(MBR)デコードを適用することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-12-08T13:21:44Z)
• Mitigating Metric Bias in Minimum Bayes Risk Decoding [24.97933059870959]
  COMETやMetricXのようなメトリクスを使用した最小ベイズリスク(MBR)復号法は、greedyやビームサーチといった従来の復号法よりも優れている。 MBRデコーディングは、特定のユーティリティメトリックに従って高いスコアの翻訳を生成することを目的としている。 これにより、デコードと評価の両方に同じメトリックを使用することが不可能になる。
  論文  参考訳（メタデータ） (2024-11-05T22:01:27Z)
• Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples [58.68233326265417]
  非画像データは実際のアプリケーションで広く使われており、ノイズが多い傾向にある。 リスク感受性SDEは、リスクベクトルによってパラメータ化された微分方程式(SDE)の一種である。 我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行う。
  論文  参考訳（メタデータ） (2024-02-03T08:41:51Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
  サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。 我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
  論文  参考訳（メタデータ） (2022-02-17T17:50:04Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。