論文の概要: Theoretical Aspects of Bias and Diversity in Minimum Bayes Risk Decoding

• arxiv url: http://arxiv.org/abs/2410.15021v1
• Date: Sat, 19 Oct 2024 07:32:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:07.501163
• Title: Theoretical Aspects of Bias and Diversity in Minimum Bayes Risk Decoding
• Title（参考訳）: 最小ベイズリスクデコードにおけるバイアスと多様性の理論的側面
• Authors: Hidetaka Kamigaito, Hiroyuki Deguchi, Yusuke Sakai, Katsuhiko Hayashi, Taro Watanabe,
• Abstract要約: 最小ベイズリスク(MBR)復号化は、自動評価指標とモデル生成擬似参照を利用してこの問題を軽減することができる。 本研究では,生成仮説の予測品質における誤差を,実用機能と人的評価の密接度を反映するバイアスと,実用機能の評価品質の変動を表す多様性の2つの主要な要因に分解する。
• 参考スコア（独自算出の注目度）: 32.02732402635305
• License:
• Abstract: Text generation commonly relies on greedy and beam decoding that limit the search space and degrade output quality. Minimum Bayes Risk (MBR) decoding can mitigate this problem by utilizing automatic evaluation metrics and model-generated pseudo-references. Previous studies have conducted empirical analyses to reveal the improvement by MBR decoding, and reported various observations. However, despite these observations, the theoretical relationship between them remains uncertain. To address this, we present a novel theoretical interpretation of MBR decoding from the perspective of bias-diversity decomposition. We decompose errors in the estimated quality of generated hypotheses in MBR decoding into two key factors: bias, which reflects the closeness between utility functions and human evaluations, and diversity, which represents the variation in the estimated quality of utility functions. Our theoretical analysis reveals the difficulty in simultaneously improving both bias and diversity, and highlights the effectiveness of increasing diversity to enhance MBR decoding performance. This analysis verifies the alignment between our theoretical insights and the empirical results reported in previous work. Furthermore, to support our theoretical findings, we propose a new metric, pseudo-bias, which approximates the bias term using gold references. We also introduce a new MBR approach, Metric-augmented MBR (MAMBR), which increases diversity by adjusting the behavior of utility functions without altering the pseudo-references. Experimental results across multiple NLP tasks show that the decomposed terms in the bias-diversity decomposition correlate well with performance, and that MAMBR improves text generation quality by modifying utility function behavior. Our code will be available at https://github.com/naist-nlp/mbr-bias-diversity.
• Abstract（参考訳）: テキスト生成は一般的に、検索スペースを制限し、出力品質を低下させるグレディとビームデコーディングに依存している。 最小ベイズリスク(MBR)復号化は、自動評価指標とモデル生成擬似参照を利用してこの問題を軽減することができる。 これまでの研究では、MBRデコードによる改善を明らかにするための経験的分析を実施し、様々な観察を報告している。 しかし、これらの観測にもかかわらず、両者の理論的関係はいまだに不明である。 そこで本研究では, バイアス・ダイバーシティ分解の観点から, MBRデコーディングの新たな理論的解釈を提案する。 我々は,MBR復号における生成仮説の誤差を,実用機能と人的評価の近さを反映するバイアスと,実用機能の評価品質の変動を表す多様性の2つの主要な要因に分解する。 我々の理論的分析は,バイアスと多様性を同時に改善することの難しさを明らかにし,MBR復号性能を向上させるために多様性を増大させることの有効性を強調した。 この分析は、我々の理論的洞察と過去の研究で報告された経験的結果との整合性を検証する。 さらに,我々の理論的な知見を支持するために,金の基準を用いたバイアス項を近似した新しい計量,擬似バイアスを提案する。 また,MAMBR(Metric-augmented MBR)と呼ばれる新しいMBRアプローチを導入し,擬似参照を変更せずにユーティリティ関数の振る舞いを調整することで多様性を向上させる。 複数のNLPタスクにまたがる実験結果から、バイアス-多様性分解における分解項は、性能とよく相関し、MAMBRはユーティリティ関数の振る舞いを変化させることで、テキスト生成品質を向上することが示された。 私たちのコードはhttps://github.com/naist-nlp/mbr-bias-diversity.comで公開されます。

関連論文リスト

• On the True Distribution Approximation of Minimum Bayes-Risk Decoding [3.409873726183299]
  最小ベイズリスク(MBR)復号化はテキスト生成において新たな注目を集めている。 従来の研究では,サンプリング法によって性能が変化することが報告されている。 本研究は異常検出を用いて近似の度合いを計測する。
  論文  参考訳（メタデータ） (2024-03-31T17:47:22Z)
• Probabilistic Precision and Recall Towards Reliable Evaluation of Generative Models [7.770029179741429]
  問題に対処する確率論的アプローチに基づいて,P-precision and P-recall (PP&PR)を提案する。 我々のPP&PRは、既存の指標よりも忠実度と多様性を比較するための信頼性の高い見積もりを提供することを示す。
  論文  参考訳（メタデータ） (2023-09-04T13:19:17Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Reenvisioning Collaborative Filtering vs Matrix Factorization [65.74881520196762]
  近年,行列因数分解に基づく協調フィルタリングモデルや,ニューラルネットワーク(ANN)を用いた類似性の学習が注目されている。 推薦エコシステム内でのANNの発表が最近疑問視され、効率性と有効性に関していくつかの比較がなされている。 本研究では,これらの手法が相補的評価次元に与える影響を解析しながら,超精度評価にもたらす可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:29:38Z)
• Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation [26.33252528975464]
  ニューラルマシン翻訳(nmt)は現在、短すぎる翻訳や頻繁な単語の過剰生成といったバイアスを示している。 最近の研究はこれらの欠点をビームサーチに結びつけている。 Eikema & Aziz (2020) は、代わりに最小ベイズリスク(MBR)デコードを使用することを提案した。
  論文  参考訳（メタデータ） (2021-05-18T13:31:05Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)
• On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation [86.11292297348622]
  本研究では, 品質と多様性の線形結合が, 生成した分布と実分布との分岐距離を構成することを示す。 品質/多様性メトリックペアの代替としてCR/NRRを提案する。
  論文  参考訳（メタデータ） (2020-07-03T04:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。