論文の概要: Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks

• arxiv url: http://arxiv.org/abs/2212.09912v2
• Date: Tue, 24 Oct 2023 20:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 05:51:56.345429
• Title: Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks
• Title（参考訳）: 抽出NLP課題生成モデルにおけるトークン化整合性
• Authors: Kaiser Sun, Peng Qi, Yuhao Zhang, Lan Liu, William Yang Wang, Zhiheng Huang
• Abstract要約: 生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。 一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 54.306234256074255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models have been widely applied to solve extractive tasks, where parts of the input is extracted to form the desired output, and achieved significant success. For example, in extractive question answering (QA), generative models have constantly yielded state-of-the-art results. In this work, we identify the issue of tokenization inconsistency that is commonly neglected in training these models. This issue damages the extractive nature of these tasks after the input and output are tokenized inconsistently by the tokenizer, and thus leads to performance drop as well as hallucination. We propose a simple yet effective fix to this issue and conduct a case study on extractive QA. We show that, with consistent tokenization, the model performs better in both in-domain and out-of-domain datasets, with a notable average of +1.7 F2 gain when a BART model is trained on SQuAD and evaluated on 8 QA datasets. Further, the model converges faster, and becomes less likely to generate out-of-context answers. With these findings, we would like to call for more attention on how tokenization should be done when solving extractive tasks and recommend applying consistent tokenization during training.
• Abstract（参考訳）: 生成モデルは、入力の一部を抽出して所望の出力を形成する抽出タスクを解くために広く応用され、大きな成功を収めた。 例えば、抽出質問応答(QA)では、生成モデルは常に最先端の結果をもたらす。 本研究では,これらのモデルのトレーニングにおいて一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、インプットとアウトプットがトークン化されていないことでこれらのタスクの抽出性が損なわれ、結果としてパフォーマンスの低下と幻覚が引き起こされる。 本稿では,この問題に対する簡易かつ効果的な解決法を提案し,抽出QAのケーススタディを行う。 我々は、一貫したトークン化により、BARTモデルがSQuAD上でトレーニングされ、8つのQAデータセットで評価された場合、ドメイン内データセットとドメイン外データセットの両方で、注目すべき平均+1.7 F2ゲインを達成できることを示した。 さらに、モデルはより速く収束し、文脈外回答を生じにくくなります。 これらの結果から,抽出タスクの解決においてトークン化をどのように行うべきか,トレーニング中に一貫したトークン化を適用することを推奨したい。

関連論文リスト

• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は言語モデル(LM)における多くの未理解の欠点と関連している 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 我々は、さらなるトレーニングや最適化を必要とせず、トークン化バイアスを除去する次世代サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Analyzing Chain-of-Thought Prompting in Large Language Models via Gradient-based Feature Attributions [10.621564997491808]
  チェーン・オブ・シークレット(CoT)のプロンプトは、大規模言語モデルの精度を実証的に改善することが示されている。 我々は、CoTプロンプトが特定の入力トークンに割り当てる相対的重要性に影響を及ぼすかどうかを検討する。 以上の結果から,CoTプロンプトは意味的関連トークンによるサリエンシスコアの規模を増大させるものではないが,サリエンシスコアのロバスト性を高め,モデル出力の摂動や変動に疑問を投げかけることが示唆された。
  論文  参考訳（メタデータ） (2023-07-25T08:51:30Z)
• RF+clust for Leave-One-Problem-Out Performance Prediction [0.9281671380673306]
  本稿では,LOPO(Left-one-problem-out)のパフォーマンス予測について検討する。 我々は、標準ランダムフォレスト(RF)モデル予測が性能値の重み付き平均値で校正することで改善できるかどうかを解析する。
  論文  参考訳（メタデータ） (2023-01-23T16:14:59Z)
• DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and Quantization [75.72231742114951]
  BARTやT5のような大規模事前学習シーケンス・ツー・シーケンスモデルは、多くの生成NLPタスクで最先端のパフォーマンスを達成する。 これらのモデルは、大きなメモリ要件と高いレイテンシのため、リソース制約のあるシナリオにおいて大きな課題となる。 そこで,本論文では,教師モデルから学生モデルへの知識の伝達と,学生モデルの定量化と定量化について提案する。
  論文  参考訳（メタデータ） (2022-03-21T18:04:25Z)
• Question-Based Salient Span Selection for More Controllable Text Summarization [67.68208237480646]
  本稿では,質問応答(QA)信号を要約モデルに組み込む手法を提案する。 提案手法は,入力文書中の有声名詞句(NP)を自動生成することで同定する。 このQAベースの信号は、2段階の要約モデルに組み込まれ、まず分類モデルを用いて入力文書中の有能なNPをマークし、その後、条件付きで要約を生成する。
  論文  参考訳（メタデータ） (2021-11-15T17:36:41Z)
• Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models [19.21465581259624]
  多くの問題は、刺激的な相関を利用したモデルや、トレーニングデータとタスクラベルの間のショートカットに起因する可能性がある。 本論文では,NLPモデルにおけるこのような素因的相関を大規模に同定することを目的とする。 提案手法は,スケーラブルな「ショートカット」の集合を効果的かつ効率的に同定し,複数のアプリケーションにおいてより堅牢なモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2021-10-14T21:40:03Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation [19.73842483996047]
  本研究では,セq2seqモデルの欠点に対処するFiD-Exを開発した。 FiD-Exは、ERASER説明可能性ベンチマークの複数のタスクにおける説明基準とタスク精度の観点から、以前の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-12-31T07:22:15Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。