論文の概要: Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding

• arxiv url: http://arxiv.org/abs/2410.15021v2
• Date: Fri, 06 Jun 2025 20:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:46.808911
• Title: Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding
• Title（参考訳）: 多様性が推論スケーリングの法則を説明する:最小ベイズリスク復号を事例として
• Authors: Hidetaka Kamigaito, Hiroyuki Deguchi, Yusuke Sakai, Katsuhiko Hayashi, Taro Watanabe,
• Abstract要約: 推論手法は大規模言語モデル(LLM)の性能を引き出す上で重要な役割を果たす 現在、LLMは生成した複数のサンプルを利用した推論手法を使用しており、最小ベイズリスク(MBR)復号から導出することができる。 従来,MBR復号化による生成性能の向上を実証的に検討してきた。 我々は、バイアス-多様性分解の観点から、MBR復号の新たな理論的解釈を提供する。
• 参考スコア（独自算出の注目度）: 32.02732402635305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference methods play an important role in eliciting the performance of large language models (LLMs). Currently, LLMs use inference methods utilizing generated multiple samples, which can be derived from Minimum Bayes Risk (MBR) Decoding. Previous studies have conducted empirical analyses to clarify the improvements in generation performance achieved by MBR decoding and have reported various observations. However, the theoretical underpinnings of these findings remain uncertain. To address this, we offer a new theoretical interpretation of MBR decoding from the perspective of bias-diversity decomposition. In this interpretation, the error in the quality estimation of hypotheses by MBR decoding is decomposed into two main factors: bias, which considers the closeness between the utility function and human evaluation, and diversity, which represents the variability in the quality estimation of the utility function. The theoretical analysis reveals the difficulty of simultaneously improving bias and diversity, confirming the validity of enhancing MBR decoding performance by increasing diversity. Furthermore, we reveal that diversity can explain one aspect of inference scaling laws that describe performance improvement by increasing sample size. Moreover, experiments across multiple NLP tasks yielded results consistent with these theoretical characteristics. Our code is available at https://github.com/naist-nlp/mbr-bias-diversity.
• Abstract（参考訳）: 推論手法は大規模言語モデル(LLM)の性能を引き出す上で重要な役割を果たしている。 現在、LLMは生成した複数のサンプルを利用した推論手法を使用しており、最小ベイズリスク(MBR)復号から導出することができる。 従来,MBR復号化による生成性能の向上を実証分析し,様々な知見を報告してきた。 しかし、これらの発見の理論的根拠はいまだに不明である。 そこで本研究では, バイアス・多様性の分解の観点から, MBRデコーディングの新たな理論的解釈を提案する。 本解釈では, MBR復号による仮説の品質推定における誤差を, 実用関数と人的評価の近さを考慮したバイアスと, 実用関数の品質推定における変数を表す多様性の2つの主な要因に分解する。 この理論解析により, バイアスと多様性を同時に向上することの難しさが明らかとなり, 多様性の向上によるMBR復号性能向上の有効性が確認された。 さらに,サンプルサイズの増加による性能向上を記述した推論スケーリング法則の1つの側面を,多様性が説明できることを明らかにした。 さらに、複数のNLPタスクに対する実験により、これらの理論的特性と一致した結果が得られた。 私たちのコードはhttps://github.com/naist-nlp/mbr-bias-diversity.comで利用可能です。

関連論文リスト

• Theoretical Guarantees for Minimum Bayes Risk Decoding [4.421486904657393]
  最小ベイズリスク(MBR)復号法は,高い確率で最適解に近づき,その確率は$Oleft(n-frac12right)$である。 この結果は、MBR復号化に関するいくつかの先行的な実証研究で観察された強い性能を理論的に説明するのに役立ちます。
  論文  参考訳（メタデータ） (2025-02-18T09:43:15Z)
• Reconciling Predictive Multiplicity in Practice [43.74883617124773]
  Reconcileは、モデル乗法(MM)現象に対処するための和解手続きである。 本稿では,5つの広く利用されているフェアネスデータセットを用いて,Reconcileアルゴリズムを実証的に解析する。 我々はReconcileアルゴリズムを因果推論の設定にまで拡張し、異なる競合推定器が特定の因果平均処理効果(CATE)値に再び異同できることを考慮した。
  論文  参考訳（メタデータ） (2025-01-27T22:48:20Z)
• On the True Distribution Approximation of Minimum Bayes-Risk Decoding [3.409873726183299]
  最小ベイズリスク(MBR)復号化はテキスト生成において新たな注目を集めている。 従来の研究では,サンプリング法によって性能が変化することが報告されている。 本研究は異常検出を用いて近似の度合いを計測する。
  論文  参考訳（メタデータ） (2024-03-31T17:47:22Z)
• Probabilistic Precision and Recall Towards Reliable Evaluation of Generative Models [7.770029179741429]
  問題に対処する確率論的アプローチに基づいて,P-precision and P-recall (PP&PR)を提案する。 我々のPP&PRは、既存の指標よりも忠実度と多様性を比較するための信頼性の高い見積もりを提供することを示す。
  論文  参考訳（メタデータ） (2023-09-04T13:19:17Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Reenvisioning Collaborative Filtering vs Matrix Factorization [65.74881520196762]
  近年,行列因数分解に基づく協調フィルタリングモデルや,ニューラルネットワーク(ANN)を用いた類似性の学習が注目されている。 推薦エコシステム内でのANNの発表が最近疑問視され、効率性と有効性に関していくつかの比較がなされている。 本研究では,これらの手法が相補的評価次元に与える影響を解析しながら,超精度評価にもたらす可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:29:38Z)
• Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation [26.33252528975464]
  ニューラルマシン翻訳(nmt)は現在、短すぎる翻訳や頻繁な単語の過剰生成といったバイアスを示している。 最近の研究はこれらの欠点をビームサーチに結びつけている。 Eikema & Aziz (2020) は、代わりに最小ベイズリスク(MBR)デコードを使用することを提案した。
  論文  参考訳（メタデータ） (2021-05-18T13:31:05Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)
• On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation [86.11292297348622]
  本研究では, 品質と多様性の線形結合が, 生成した分布と実分布との分岐距離を構成することを示す。 品質/多様性メトリックペアの代替としてCR/NRRを提案する。
  論文  参考訳（メタデータ） (2020-07-03T04:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。