論文の概要: Document-Level Text Generation with Minimum Bayes Risk Decoding using Optimal Transport
- arxiv url: http://arxiv.org/abs/2505.23078v1
- Date: Thu, 29 May 2025 04:34:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.677437
- Title: Document-Level Text Generation with Minimum Bayes Risk Decoding using Optimal Transport
- Title（参考訳）: 最適転送を用いた最小ベイズリスク復号化による文書レベルテキスト生成
- Authors: Yuu Jinnai,
- Abstract要約: 文書レベルのテキスト生成タスクに対する最小ベイズリスク(MBR)デコードの適用について検討する。
MBRデコードでは、候補出力の集合から最も期待されたユーティリティで出力を推定するためにユーティリティ関数を利用する。
Wasserstein 距離を用いた MBR 復号法の一種である MBR-OT は文レベルユーティリティ関数を用いて文書の有用性を計算する。
- 参考スコア（独自算出の注目度）: 3.48097307252416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Document-level text generation tasks are known to be more difficult than sentence-level text generation tasks as they require the understanding of longer context to generate high-quality texts. In this paper, we investigate the adaption of Minimum Bayes Risk (MBR) decoding for document-level text generation tasks. MBR decoding makes use of a utility function to estimate the output with the highest expected utility from a set of candidate outputs. Although MBR decoding is shown to be effective in a wide range of sentence-level text generation tasks, its performance on document-level text generation tasks is limited as many of the utility functions are designed for evaluating the utility of sentences. To this end, we propose MBR-OT, a variant of MBR decoding using Wasserstein distance to compute the utility of a document using a sentence-level utility function. The experimental result shows that the performance of MBR-OT outperforms that of the standard MBR in document-level machine translation, text simplification, and dense image captioning tasks. Our code is available at https://github.com/jinnaiyuu/mbr-optimal-transport
- Abstract（参考訳）: 文書レベルのテキスト生成タスクは、高品質なテキストを生成するために長いコンテキストを理解する必要があるため、文レベルのテキスト生成タスクよりも難しいことが知られている。
本稿では,文書レベルのテキスト生成タスクに対する最小ベイズリスク(MBR)デコードの適用について検討する。
MBRデコードでは、候補出力の集合から最も期待されたユーティリティで出力を推定するためにユーティリティ関数を利用する。
MBR復号は幅広い文レベルのテキスト生成タスクに有効であることが示されているが、文書レベルのテキスト生成タスクのパフォーマンスは、文の有用性を評価するために設計されているユーティリティ関数の多くに制限されている。
そこで本稿では,Warsserstein 距離を用いた MBR 復号法の一種である MBR-OT を提案し,文レベルユーティリティ関数を用いて文書の有用性を計算した。
実験結果から,MBR-OTの性能は,文書レベルの機械翻訳,テキストの簡略化,高密度画像キャプションタスクにおいて,標準的なMBRよりも優れていた。
私たちのコードはhttps://github.com/jinnaiyuu/mbr-optimal-transportで利用可能です。
関連論文リスト
- GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。
本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。
具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
論文 参考訳（メタデータ） (2024-10-31T08:30:55Z) - mbrs: A Library for Minimum Bayes Risk Decoding [27.207891251898904]
mbrsは最小ベイズリスク(MBR)デコーディングのライブラリである。
MBRはテキスト生成タスクの決定ルールであり、従来の最大値(MAP)復号よりも優れている。
私たちはMITライセンスのオープンソースプロジェクトとしてmbrsを公開しました。
論文 参考訳（メタデータ） (2024-08-08T02:28:32Z) - Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳（メタデータ） (2024-02-06T18:59:30Z) - Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding [4.209844101827474]
多様性目標を最小ベイズ・リスク復号化に適用することにより,多様性向上のための復号化アルゴリズムを開発した。
我々は、エンコーダデコーダモデルとプロンプト付き大規模言語モデルを用いて、様々な有向テキスト生成タスクにおいてDMBRとKMBRを評価する。
論文 参考訳（メタデータ） (2024-01-10T10:23:41Z) - Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding [5.639904484784127]
最小ベイズリスクデコーディング(MBR)は、幅広いテキスト生成タスクに対するビームサーチデコーディングの強力な代替手段である。
MBRは、目的を計算するのに膨大な時間を必要とする。
CBP(Confidence-based pruning)は、最近機械翻訳タスクにおける推論時間を削減するために提案されている。
論文 参考訳（メタデータ） (2024-01-05T11:02:08Z) - It's MBR All the Way Down: Modern Generation Techniques Through the Lens
of Minimum Bayes Risk [57.641436861482696]
最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
論文 参考訳（メタデータ） (2023-10-02T17:47:10Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳（メタデータ） (2023-07-29T14:11:15Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。