論文の概要: Minimum Bayes' Risk Decoding for System Combination of Grammatical Error
Correction Systems
- arxiv url: http://arxiv.org/abs/2309.06520v2
- Date: Fri, 27 Oct 2023 14:42:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 16:51:00.142727
- Title: Minimum Bayes' Risk Decoding for System Combination of Grammatical Error
Correction Systems
- Title(参考訳): 文法誤り訂正システムのシステム結合における最小ベイズのリスクデコード
- Authors: Vyas Raina and Mark Gales
- Abstract要約: 本稿では,文法誤り訂正(GEC)システムにおける最小ベイズリスク(MBR)デコードについて検討する。
本稿では,この形態の基準に直結した新しいMBR損失関数を提案する。
3つの一般的なGECデータセットと最先端のGECシステムを用いた実験は、提案手法の有効性を実証している。
- 参考スコア(独自算出の注目度): 3.722707313671672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For sequence-to-sequence tasks it is challenging to combine individual system
outputs. Further, there is also often a mismatch between the decoding criterion
and the one used for assessment. Minimum Bayes' Risk (MBR) decoding can be used
to combine system outputs in a manner that encourages better alignment with the
final assessment criterion. This paper examines MBR decoding for Grammatical
Error Correction (GEC) systems, where performance is usually evaluated in terms
of edits and an associated F-score. Hence, we propose a novel MBR loss function
directly linked to this form of criterion. Furthermore, an approach to expand
the possible set of candidate sentences is described. This builds on a current
max-voting combination scheme, as well as individual edit-level selection.
Experiments on three popular GEC datasets and with state-of-the-art GEC systems
demonstrate the efficacy of the proposed MBR approach. Additionally, the paper
highlights how varying reward metrics within the MBR decoding framework can
provide control over precision, recall, and the F-score in combined GEC
systems.
- Abstract(参考訳): シーケンスからシーケンスまでのタスクでは、個々のシステム出力を組み合わせることが難しい。
さらに、デコード基準と評価に用いる基準との間には、しばしばミスマッチがある。
最小ベイズリスク(mbr)デコーディングは、最終評価基準とより良い一致を促す方法でシステム出力を組み合わせるために使用できる。
本稿では,文法的誤り訂正システム(GEC)のMBRデコーディングについて検討する。
そこで本研究では,この形式に直結した新しいMBR損失関数を提案する。
さらに、候補文の集合を拡張するためのアプローチについても述べる。
これは、現在の最大投票の組み合わせスキームと、個々の編集レベルの選択に基づいて構築される。
3つの一般的なECCデータセットと最先端のECCシステムを用いた実験は、提案したMBRアプローチの有効性を示す。
さらに、MBRデコーディングフレームワーク内の様々な報酬指標が、複合GECシステムにおける精度、リコール、Fスコアの制御にどのように役立つかを強調した。
関連論文リスト
- System Combination via Quality Estimation for Grammatical Error
Correction [29.91720235173108]
本稿では,修正文の品質をよりよく推定する,最新の品質評価モデルであるGRECOを提案する。
また,GECの品質推定モデルを用いて,システムの組み合わせを多種多様な一般性で評価する手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T13:46:49Z) - It's MBR All the Way Down: Modern Generation Techniques Through the Lens
of Minimum Bayes Risk [57.641436861482696]
最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
論文 参考訳(メタデータ) (2023-10-02T17:47:10Z) - CLEME: Debiasing Multi-reference Evaluation for Grammatical Error
Correction [32.44051877804761]
チャンクレベル多重参照評価(CLEME)は,多参照評価設定において文法誤り訂正(GEC)システムを評価するように設計されている。
我々は、CoNLL-2014共有タスクに基づく6つの英語参照セットの実験を行う。
論文 参考訳(メタデータ) (2023-05-18T08:57:17Z) - DC-MBR: Distributional Cooling for Minimum Bayesian Risk Decoding [53.33313271531839]
最小ベイズリスク復号(MBR)は、ニューラルネットワーク翻訳において有望な復号アルゴリズムとして現れる。
ラベルの平滑化はビームサーチによる良好な改善と各種タスクの汎用性の向上をもたらすため,MBRはラベルの平滑化に優れる。
トークンレベルの分布とシーケンスレベルの分布にラベルスムージングの不整合が生じることを示す。
論文 参考訳(メタデータ) (2022-12-08T11:40:31Z) - Quality-Based Conditional Processing in Multi-Biometrics: Application to
Sensor Interoperability [63.05238390013457]
2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。
我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。
その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-11-24T12:11:22Z) - Gender Bias and Universal Substitution Adversarial Attacks on
Grammatical Error Correction Systems for Automated Assessment [1.4213973379473654]
GECシステムはしばしば、評価とフィードバックの形式として、英語学習者の音声の書き起こしに使用される。
候補の入力文からGECシステムの文法的に訂正された出力文への編集回数は、候補の言語能力を示す。
本研究は、英語の非母語話者が現実的に、評価に使用されるECCシステムを騙すために使用できる、単純な普遍的置換対逆攻撃について検討する。
論文 参考訳(メタデータ) (2022-08-19T17:44:13Z) - Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。
前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。
提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
論文 参考訳(メタデータ) (2022-05-13T21:09:41Z) - Integrate Lattice-Free MMI into End-to-End Speech Recognition [87.01137882072322]
音声認識(ASR)研究において、識別基準はDNN-HMMシステムにおいて優れた性能を達成している。
このモチベーションにより、差別的基準の採用は、エンドツーエンド(E2E)のASRシステムの性能を高めることを約束している。
これまでの研究は、最小ベイズリスク(MBR、差別基準の一つ)をE2E ASRシステムに導入してきた。
本研究では,他の広く使われている識別基準であるLF-MMIをE2Eに統合する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-29T14:32:46Z) - Sequence Transduction with Graph-based Supervision [96.04967815520193]
ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。
CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2021-11-01T21:51:42Z) - Diversity-Driven Combination for Grammatical Error Correction [30.63256303821261]
文法的誤り訂正(英: Grammatical error correction, GEC)は、テキスト中の誤りを検出し、訂正するタスクである。
システムの組み合わせを成功させるためには、複数のコンポーネントシステムが多様かつ同等の品質の修正文を生成する必要がある。
本稿では,コンポーネントシステム間の多様性を促進するシステムの組み合わせ戦略であるGECに対して,多様性駆動結合(Diversity-Driven Combination, DDC)を提案する。
論文 参考訳(メタデータ) (2021-10-28T14:20:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。