Fugu-MT 論文翻訳(概要): Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo

論文の概要: Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo

arxiv url: http://arxiv.org/abs/2404.04103v1
Date: Fri, 5 Apr 2024 13:59:12 GMT
ステータス: 処理完了
システム内更新日: 2024-04-08 16:05:12.532913
Title: Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo
Title（参考訳）: ToTToの入力問題に対処したニューラルテーブル・トゥ・テキスト出力の精度向上
Authors: Barkavi Sundararajan, Somayajulu Sripada, Ehud Reiter,
Abstract要約: ToTToデータセットの政治領域で複数のモデルによって生成された1,837のテキストを手動で注釈付けした。我々は,多くの出力誤差の原因となる入力問題を同定し,これらの入力の修正が事実誤りを52%から76%減少させることを示す。
参考スコア（独自算出の注目度）: 4.476276157188497
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural Table-to-Text models tend to hallucinate, producing texts that contain factual errors. We investigate whether such errors in the output can be traced back to problems with the input. We manually annotated 1,837 texts generated by multiple models in the politics domain of the ToTTo dataset. We identify the input problems that are responsible for many output errors and show that fixing these inputs reduces factual errors by between 52% and 76% (depending on the model). In addition, we observe that models struggle in processing tabular inputs that are structured in a non-standard way, particularly when the input lacks distinct row and column values or when the column headers are not correctly mapped to corresponding values.
Abstract（参考訳）: ニューラルテーブル・トゥ・テキストモデルは幻覚を起こす傾向があり、事実の誤りを含むテキストを生成する。出力におけるそのような誤りが、入力の問題に遡ることができるかどうかを考察する。 ToTToデータセットの政治領域で複数のモデルによって生成された1,837のテキストを手動で注釈付けした。我々は,多くの出力誤差の原因となる入力問題を同定し,これらの入力の修正によって,実際のエラーが52%から76%減少することを示す(モデルによる)。さらに,入力が行と列の値が異なる場合や,列ヘッダが対応する値に正しくマッピングされていない場合など,非標準的な方法で構造化された表型入力を処理するのに,モデルが苦労していることが観察された。

関連論文リスト

CraftRTL: High-quality Synthetic Data Generation for Verilog Code Models with Correct-by-Construction Non-Textual Representations and Targeted Code Repair [4.554742043916029]
本稿では,従来手法の合成データを用いて,Verilog 符号化における微調整 LLM の解析を行った。我々は、非テクスト表現の扱いの困難さと、ランダムに「マイナー」ミスを犯すモデルによるトレーニング中の大きな変動の2つを識別する。我々の微調整されたStarcoder2-15Bは、VerilogEval-Machine, VerilogEval-Human, RTLLMで3.8%、10.9%、pass@1で6.6%、最先端の結果よりも優れています。
論文参考訳（メタデータ） (2024-09-19T12:15:55Z)
Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。その結果、精度は63.66%、リコールは20.19%であった。
論文参考訳（メタデータ） (2024-02-28T06:43:43Z)
Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning [90.13978453378768]
生成したチャートキャプションに事実誤りを包括的に分類する。大規模な人間のアノテーションの取り組みは、様々なチャートキャプションモデルによって作られたキャプションのエラーパターンと頻度に関する洞察を提供する。分析の結果,GPT-4Vを含む最先端モデルでさえ,事実不正確なキャプションを頻繁に生成していることが判明した。
論文参考訳（メタデータ） (2023-12-15T19:16:21Z)
MISMATCH: Fine-grained Evaluation of Machine-generated Text with Mismatch Error Types [68.76742370525234]
テキスト間のきめ細かいミスマッチに基づいて、7つのNLPタスクにおける人間の判断をモデル化する新しい評価手法を提案する。細粒度評価のためのNLPタスクの最近の取り組みに触発されて,13種類のミスマッチエラータイプを紹介した。 7つのNLPタスクから得られた有意なデータセットの文対間のミスマッチ誤差は,人間の評価とよく一致している。
論文参考訳（メタデータ） (2023-06-18T01:38:53Z)
Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
論文参考訳（メタデータ） (2023-05-26T00:18:33Z)
Improving Factual Consistency in Summarization with Compression-Based Post-Editing [146.24839415743358]
この問題に対処するためのモデルに依存しない方法は、生成された要約を後編集することであることを示す。本稿では,文圧縮データを用いて後編集モデルを訓練し,特別なトークンでマークされた外在的エンティティエラーを要約する手法を提案する。我々は,このモデルがROUGEを維持しながら事実整合性を向上し,XSum上でのエンティティ精度を最大30%向上し,他のポストエディタ上でも適用可能であることを示す。
論文参考訳（メタデータ） (2022-11-11T13:35:38Z)
Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
論文参考訳（メタデータ） (2022-07-29T20:39:02Z)
Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文参考訳（メタデータ） (2021-06-03T05:56:57Z)
Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文参考訳（メタデータ） (2021-04-17T21:34:10Z)
Correcting the Autocorrect: Context-Aware Typographical Error Correction via Training Data Augmentation [38.10429793534442]
まず、スペルエラー統計を計算するために、注釈付きデータの小さなセットを描画する。その後、エラーをはるかに大きなコーパスに導入するために、これらが呼び出される。私たちは、英語のエラー検出と修正データセットのセットを作成するためにそれを使用します。
論文参考訳（メタデータ） (2020-05-03T18:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。