論文の概要: How Optimal is Greedy Decoding for Extractive Question Answering?

• arxiv url: http://arxiv.org/abs/2108.05857v1
• Date: Thu, 12 Aug 2021 17:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 17:29:47.454105
• Title: How Optimal is Greedy Decoding for Extractive Question Answering?
• Title（参考訳）: 抽出質問応答におけるグレディ復号法は最適か?
• Authors: Or Castel, Ori Ram, Avia Efrat, Omer Levy
• Abstract要約: 本稿では,この文脈で最も確率の高い解を効率よく発見する復号アルゴリズムである完全抽出を提案する。 グリーディ復号法は、いくつかのトレーニング例の導入により、正確な抽出に収束することを示す。
• 参考スコア（独自算出の注目度）: 18.658619268369232
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Fine-tuned language models use greedy decoding to answer reading comprehension questions with relative success. However, this approach does not ensure that the answer is a span in the given passage, nor does it guarantee that it is the most probable one. Does greedy decoding actually perform worse than an algorithm that does adhere to these properties? To study the performance and optimality of greedy decoding, we present exact-extract, a decoding algorithm that efficiently finds the most probable answer span in the context. We compare the performance of T5 with both decoding algorithms on zero-shot and few-shot extractive question answering. When no training examples are available, exact-extract significantly outperforms greedy decoding. However, greedy decoding quickly converges towards the performance of exact-extract with the introduction of a few training examples, becoming more extractive and increasingly likelier to generate the most probable span as the training set grows. We also show that self-supervised training can bias the model towards extractive behavior, increasing performance in the zero-shot setting without resorting to annotated examples. Overall, our results suggest that pretrained language models are so good at adapting to extractive question answering, that it is often enough to fine-tune on a small training set for the greedy algorithm to emulate the optimal decoding strategy.
• Abstract（参考訳）: 微調整された言語モデルは、相対的に成功した理解質問を読むのに欲深いデコードを使用する。 しかし、このアプローチは、その答えが与えられた通路のスパンであることを保証するものではなく、最も可能性の高いものであることも保証しない。 欲望のデコーディングは、これらの特性に固執するアルゴリズムよりも悪いのか? グリーディ復号法の性能と最適性について検討するため,最も確率の高い解を効率よく検出する完全抽出アルゴリズムを提案する。 ゼロショットおよび少数ショット抽出質問応答における復号アルゴリズムとT5の性能を比較した。 トレーニングの例が得られない場合、正確な抽出はgreedyデコードよりも大幅に優れます。 しかし、greedy decodingは、いくつかのトレーニング例の導入によって、正確な抽出のパフォーマンスに素早く収束し、トレーニングセットが大きくなるにつれて、より抽出され、より好まれるようになり、最も可能なスパンを生成するようになる。 また, 自己教師付きトレーニングでは, モデルの抽出行動への偏りが生じ, ゼロショット設定のパフォーマンスが向上することを示した。 総じて,事前学習された言語モデルは,抽出的質問応答に適応するのに非常に優れており,最適な復号戦略をエミュレートするグリーディアルゴリズムのための小さなトレーニングセットを微調整するのに十分である可能性が示唆された。

関連論文リスト

• The Many Faces of Optimal Weak-to-Strong Learning [10.985323882432086]
  提案手法は, サンプルの複雑さを証明し得る, 驚くほど単純なブースティングアルゴリズムである。 我々のパイロット実験研究は、我々の新しいアルゴリズムが大規模なデータセットで以前のアルゴリズムより優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-08-30T09:38:51Z)
• Lazy-k: Decoding for Constrained Token Classification [0.18101602392062094]
  情報抽出のためのトークン分類の文脈において,これらのモデルと制約付き復号法を組み合わせる。 この結果から,制約付き復号化手法はモデルの性能を著しく向上させる可能性が示唆された。 Lazy-$kアプローチは、デコード時間と精度の間の柔軟性を高める。
  論文  参考訳（メタデータ） (2023-12-06T09:08:32Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• A Non-monotonic Self-terminating Language Model [62.93465126911921]
  本稿では,不完全復号アルゴリズムによる非終端列の問題に焦点をあてる。 まず、グリーディ探索、トップ$kのサンプリング、核サンプリングを含む不完全確率復号アルゴリズムを定義する。 次に,単調な終端確率の制約を緩和する非単調な自己終端言語モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-03T00:28:44Z)
• SparseGAN: Sparse Generative Adversarial Network for Text Generation [8.634962333084724]
  本稿では,識別器への入力として,意味解釈可能ながスパース文表現を生成するスパースGANを提案する。 このような意味豊かな表現により、効率の良い対人訓練のための不要なノイズを低減できるだけでなく、学習過程全体を完全に差別化できる。
  論文  参考訳（メタデータ） (2021-03-22T04:44:43Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• DeepMP for Non-Negative Sparse Decomposition [14.790515227906257]
  非負の信号はスパース信号の重要なクラスを形成する。 greedyとconvexの緩和アルゴリズムは、最も人気のある方法のひとつです。 このような修正の1つは、Matching Pursuit (MP) ベースのアルゴリズムのために提案されている。
  論文  参考訳（メタデータ） (2020-07-28T14:52:06Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。