論文の概要: Controlling Hallucinations at Word Level in Data-to-Text Generation
- arxiv url: http://arxiv.org/abs/2102.02810v1
- Date: Thu, 4 Feb 2021 18:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-05 16:50:51.135828
- Title: Controlling Hallucinations at Word Level in Data-to-Text Generation
- Title（参考訳）: データ・テキスト生成における単語レベルの幻覚制御
- Authors: Cl\'ement Rebuffel, Marco Roberti, Laure Soulier, Geoffrey
Scoutheeten, Rossella Cancelliere, Patrick Gallinari
- Abstract要約: 最先端のニューラルモデルには、アウトプットに誤解を招くステートメントが含まれている。
本稿では,単語レベルのラベルを利用して各トレーニングインスタンスの関連部分を学習できるマルチブランチデコーダを提案する。
我々のモデルは、生成したテキストの流布とコヒーレンスを維持しながら、幻覚を減らし制御することができる。
- 参考スコア（独自算出の注目度）: 10.59137381324694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-to-Text Generation (DTG) is a subfield of Natural Language Generation
aiming at transcribing structured data in natural language descriptions. The
field has been recently boosted by the use of neural-based generators which
exhibit on one side great syntactic skills without the need of hand-crafted
pipelines; on the other side, the quality of the generated text reflects the
quality of the training data, which in realistic settings only offer
imperfectly aligned structure-text pairs. Consequently, state-of-art neural
models include misleading statements - usually called hallucinations - in their
outputs. The control of this phenomenon is today a major challenge for DTG, and
is the problem addressed in the paper.
Previous work deal with this issue at the instance level: using an alignment
score for each table-reference pair. In contrast, we propose a finer-grained
approach, arguing that hallucinations should rather be treated at the word
level. Specifically, we propose a Multi-Branch Decoder which is able to
leverage word-level labels to learn the relevant parts of each training
instance. These labels are obtained following a simple and efficient scoring
procedure based on co-occurrence analysis and dependency parsing. Extensive
evaluations, via automated metrics and human judgment on the standard WikiBio
benchmark, show the accuracy of our alignment labels and the effectiveness of
the proposed Multi-Branch Decoder. Our model is able to reduce and control
hallucinations, while keeping fluency and coherence in generated texts. Further
experiments on a degraded version of ToTTo show that our model could be
successfully used on very noisy settings.
- Abstract（参考訳）: Data-to-Text Generation (DTG) は、自然言語記述における構造化データの書き起こしを目的とした自然言語生成のサブフィールドである。
この分野は最近、手作りのパイプラインを必要とせずに優れた構文スキルを示すニューラルネットワークジェネレータの使用によって強化されている。一方、生成されたテキストの品質はトレーニングデータの品質を反映しているため、現実的な設定では不完全な構造テキストペアしか提供されない。
その結果、最先端のニューラルモデルには、アウトプットに誤解を招くステートメント(通常幻覚と呼ばれる)が含まれる。
この現象の制御は、現在DTGにとって大きな課題であり、論文で対処されている問題です。
以前の作業では、インスタンスレベルでこの問題を扱う。 各テーブル参照ペアのアライメントスコアを使用する。
対照的に,幻覚は単語レベルで扱われるべきであると主張する,より細かいアプローチを提案する。
具体的には、単語レベルのラベルを利用して各トレーニングインスタンスの関連部分を学習できるマルチブランチデコーダを提案する。
これらのラベルは、共起解析と依存性解析に基づく単純で効率的なスコアリング手順に従って得られる。
標準wikibioベンチマークにおける自動測定と人的判断による広範な評価は、アライメントラベルの精度と提案するマルチブランチデコーダの有効性を示している。
我々のモデルは、生成したテキストの流布とコヒーレンスを維持しながら、幻覚を減らし制御することができる。
ToTToの劣化バージョンに関するさらなる実験は、非常にノイズの多い設定で私たちのモデルをうまく利用できることを示しています。
関連論文リスト
- Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。
ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。
制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
論文 参考訳（メタデータ） (2024-02-08T03:41:39Z) - Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text
Generation [5.304395026626743]
入力に埋もれていないテキストの幻覚は、ニューラルネットワークによるテキスト生成においてよく知られた問題である。
生成言語モデルの確率的出力と特別な「テキスト評論家」の出力を組み合わせることで幻覚を緩和する新しい方法を提案する。
本手法では,LMのアーキテクチャやトレーニング手順の変更は不要である。
論文 参考訳（メタデータ） (2023-10-25T20:05:07Z) - A Benchmark Corpus for the Detection of Automatically Generated Text in
Academic Publications [0.02578242050187029]
本稿では,人工的な研究内容からなる2つのデータセットについて述べる。
第1のケースでは、コンテンツはオリジナルの論文から短いプロンプトを抽出した後、GPT-2モデルで完全に生成される。
部分的あるいはハイブリッドなデータセットは、いくつかの抽象文をArxiv-NLPモデルによって生成される文に置き換えることで生成される。
BLEU や ROUGE などの流速指標を用いて,生成したテキストと整列した原文とを比較し,データセットの品質を評価する。
論文 参考訳（メタデータ） (2022-02-04T08:16:56Z) - Speaker Embedding-aware Neural Diarization for Flexible Number of
Speakers with Textual Information [55.75018546938499]
本稿では,話者埋め込み認識型ニューラルダイアリゼーション(SEND)手法を提案する。
本手法は,ターゲット話者の音声活動検出よりも低いダイアリゼーション誤差率を実現する。
論文 参考訳（メタデータ） (2021-11-28T12:51:04Z) - A Token-level Reference-free Hallucination Detection Benchmark for
Free-form Text Generation [50.55448707570669]
本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。
このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
論文 参考訳（メタデータ） (2021-04-18T04:09:48Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳（メタデータ） (2020-11-05T00:18:53Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳（メタデータ） (2020-10-12T19:42:25Z) - Controlled Hallucinations: Learning to Generate Faithfully from Noisy
Data [1.0914300987810126]
本稿では,このような幻覚を生成テキストの制御可能な側面として扱う手法を提案する。
特にノイズの多いデータセットであるWikiBio corpusでは,自動評価と人的評価の両方において,この手法の有効性を実証している。
論文 参考訳（メタデータ） (2020-10-12T17:25:02Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z) - Stacked DeBERT: All Attention in Incomplete Data for Text Classification [8.900866276512364]
変換器から双方向表現を重畳するスタックドデノナイズ(Stacked Denoising Bidirectional Representations)を提案する。
本モデルでは, 感情や意図の分類作業において, 音声テキスト誤りのあるツイートやテキストに現れる非公式/不正テキストにおいて, F1スコアが向上し, 堅牢性が向上したことを示す。
論文 参考訳（メタデータ） (2020-01-01T04:49:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。