論文の概要: On the True Distribution Approximation of Minimum Bayes-Risk Decoding

• arxiv url: http://arxiv.org/abs/2404.00752v1
• Date: Sun, 31 Mar 2024 17:47:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 01:51:24.332267
• Title: On the True Distribution Approximation of Minimum Bayes-Risk Decoding
• Title（参考訳）: 最小ベイズ・リスク復号の真の分布近似について
• Authors: Atsumoto Ohashi, Ukyo Honda, Tetsuro Morimura, Yuu Jinnai,
• Abstract要約: 最小ベイズリスク(MBR)復号化はテキスト生成において新たな注目を集めている。 従来の研究では,サンプリング法によって性能が変化することが報告されている。 本研究は異常検出を用いて近似の度合いを計測する。
• 参考スコア（独自算出の注目度）: 3.409873726183299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimum Bayes-risk (MBR) decoding has recently gained renewed attention in text generation. MBR decoding considers texts sampled from a model as pseudo-references and selects the text with the highest similarity to the others. Therefore, sampling is one of the key elements of MBR decoding, and previous studies reported that the performance varies by sampling methods. From a theoretical standpoint, this performance variation is likely tied to how closely the samples approximate the true distribution of references. However, this approximation has not been the subject of in-depth study. In this study, we propose using anomaly detection to measure the degree of approximation. We first closely examine the performance variation and then show that previous hypotheses about samples do not correlate well with the variation, but our introduced anomaly scores do. The results are the first to empirically support the link between the performance and the core assumption of MBR decoding.
• Abstract（参考訳）: 最小ベイズリスク(MBR)復号化はテキスト生成において新たな注目を集めている。 MBR復号法は、モデルからサンプリングされたテキストを擬似参照とみなし、他と最も類似したテキストを選択する。 したがって、サンプリングはMBR復号の鍵となる要素の一つであり、以前の研究ではサンプリング法によって性能が変化すると報告されていた。 理論的な観点からは、この性能変化は、サンプルが参照の真の分布をいかに正確に近似するかに結びついている可能性が高い。 しかし、この近似は詳細な研究の対象にはなっていない。 本研究では,異常検出を用いて近似の度合いを測定することを提案する。 提案手法は,まず性能変動を詳細に検討し,サンプルに関する先行仮説が変動と相関しないことを示すが,導入した異常スコアは一致しない。 結果は、MBR復号化のコア仮定と性能のリンクを経験的にサポートした最初のものである。

関連論文リスト

• Theoretical Aspects of Bias and Diversity in Minimum Bayes Risk Decoding [32.02732402635305]
  最小ベイズリスク(MBR)復号化は、自動評価指標とモデル生成擬似参照を利用してこの問題を軽減することができる。 本研究では,生成仮説の予測品質における誤差を,実用機能と人的評価の密接度を反映するバイアスと,実用機能の評価品質の変動を表す多様性の2つの主要な要因に分解する。
  論文  参考訳（メタデータ） (2024-10-19T07:32:10Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Self-Consistent Decoding for More Factual Open Responses [28.184313177333642]
  Sample & Selectは、DoLA、P-CRR、S-CRRのデコーダに対して、30%の相対的なマージンで事実性を向上する。 生成した要約の人間による検証を収集し,本手法の実際的優位性を確認する。
  論文  参考訳（メタデータ） (2024-03-01T17:31:09Z)
• Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
  機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
  論文  参考訳（メタデータ） (2023-11-21T22:53:20Z)
• Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum Bayes Risk Decoding for Machine Translation [20.749494856466526]
  最小ベイズリスク復号法における候補リスト生成のためのサンプリング手法の違いが性能に与える影響を示す。 それらの限界に対する洞察に基づいて、最近提案されたエプシロンサンプリングアプローチを実験し、エプシロンよりも小さい確率で全てのトークンを掘り起こす。
  論文  参考訳（メタデータ） (2023-05-17T00:11:38Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• Fake It Till You Make It: Near-Distribution Novelty Detection by Score-Based Generative Models [54.182955830194445]
  既存のモデルは、いわゆる"近く分布"設定で失敗するか、劇的な低下に直面します。 本稿では, スコアに基づく生成モデルを用いて, 合成近分布異常データを生成することを提案する。 本手法は,9つのノベルティ検出ベンチマークにおいて,近分布ノベルティ検出を6%改善し,最先端のノベルティ検出を1%から5%パスする。
  論文  参考訳（メタデータ） (2022-05-28T02:02:53Z)
• Learnable Locality-Sensitive Hashing for Video Anomaly Detection [44.19433917039249]
  ビデオ異常検出(英語: Video Anomaly Detection, VAD)とは、通常サンプルのみが利用可能なトレーニングセットで発生していない異常事象を特定することを指す。 本稿では,すべての標準データを効率よく,かつ柔軟に活用するための,距離に基づく新しいVAD手法を提案する。
  論文  参考訳（メタデータ） (2021-11-15T15:25:45Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。