論文の概要: EEL: Efficiently Encoding Lattices for Reranking
- arxiv url: http://arxiv.org/abs/2306.00947v1
- Date: Thu, 1 Jun 2023 17:45:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 13:57:16.462357
- Title: EEL: Efficiently Encoding Lattices for Reranking
- Title(参考訳): EEL: 遅延を効率よくエンコードする
- Authors: Prasann Singhal, Jiacheng Xu, Xi Ye, Greg Durrett
- Abstract要約: 生成した出力の格子を効率的にエンコードするためにTransformerを使用します。
このアプローチをトークン駆動リランカ(TFR)の新しいクラスと組み合わせる。
以上の結果から,ダウンストリームメトリクスの性能は,従来の手法に比べて大幅に向上した。
- 参考スコア(独自算出の注目度): 44.77383151122229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard decoding approaches for conditional text generation tasks typically
search for an output hypothesis with high model probability, but this may not
yield the best hypothesis according to human judgments of quality. Reranking to
optimize for "downstream" metrics can better optimize for quality, but many
metrics of interest are computed with pre-trained language models, which are
slow to apply to large numbers of hypotheses. We explore an approach for
reranking hypotheses by using Transformers to efficiently encode lattices of
generated outputs, a method we call EEL. With a single Transformer pass over
the entire lattice, we can approximately compute a contextualized
representation of each token as if it were only part of a single hypothesis in
isolation. We combine this approach with a new class of token-factored
rerankers (TFRs) that allow for efficient extraction of high reranker-scoring
hypotheses from the lattice. Empirically, our approach incurs minimal
degradation error compared to the exponentially slower approach of encoding
each hypothesis individually. When applying EEL with TFRs across three text
generation tasks, our results show both substantial speedup compared to naive
reranking and often better performance on downstream metrics than comparable
approaches.
- Abstract(参考訳): 条件付きテキスト生成タスクに対する標準デコードアプローチは、通常、高いモデル確率を持つ出力仮説を探索するが、品質の人間の判断では最良の仮説にはならない。
ダウンストリーム"のメトリクスを最適化するようにリランキングすることで、品質の最適化が向上するが、多くの関心のあるメトリクスは、事前学習された言語モデルで計算される。
本研究では, トランスフォーマーを用いて, 生成した出力の格子を効率よく符号化し, EELと呼ぶ手法を提案する。
一つのトランスフォーマーが格子全体を通過すると、各トークンの文脈化された表現を、まるで単独の仮説の一部に過ぎないかのように、大まかに計算できる。
我々は,このアプローチを新たなトークン分解型リカクタ(tfrs)と組み合わせることで,格子から高リカクタ分解仮説の効率的な抽出を可能にする。
実験では,各仮説を個別に符号化する指数的に遅い手法に比べて,最小の劣化誤差が生じる。
3 つのテキスト生成タスクに TFR を適用して EEL を適用すると、本研究の結果は、単純な再ランク付けよりも大幅に高速化され、ダウンストリームのメトリクスのパフォーマンスが同等のアプローチよりも向上することを示している。
関連論文リスト
- Self-Consistent Decoding for More Factual Open Responses [28.184313177333642]
Sample & Selectは、DoLA、P-CRR、S-CRRのデコーダに対して、30%の相対的なマージンで事実性を向上する。
生成した要約の人間による検証を収集し,本手法の実際的優位性を確認する。
論文 参考訳(メタデータ) (2024-03-01T17:31:09Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - KNN-LM Does Not Improve Open-ended Text Generation [34.86733697757264]
検索強化言語モデル(LM)の生成品質について検討する。
検索分布の補間は, ベースライントランスフォーマーLMと比較して, 実際にパープレキシティを増大させることがわかった。
検索分布のエントロピーは、生成シーケンスが長くなるにつれて、ベースLMのエントロピーよりも速く増加する。
論文 参考訳(メタデータ) (2023-05-24T01:48:33Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Incorporating Behavioral Hypotheses for Query Generation [3.5873361386290643]
本稿では,クエリ生成のための任意の仮説を集約する汎用エンコーダ・デコーダ・トランスフォーマフレームワークを提案する。
実験の結果,提案手法は単語誤り率のトップ$kとBert F1スコアを大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2020-10-06T12:38:02Z) - A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix
Completion [60.52730146391456]
そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。
特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。
既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
論文 参考訳(メタデータ) (2020-08-14T18:47:58Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z) - Self-Adversarial Learning with Comparative Discrimination for Text
Generation [111.18614166615968]
本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。
トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。
テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
論文 参考訳(メタデータ) (2020-01-31T07:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。