論文の概要: EEL: Efficiently Encoding Lattices for Reranking

• arxiv url: http://arxiv.org/abs/2306.00947v1
• Date: Thu, 1 Jun 2023 17:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 13:57:16.462357
• Title: EEL: Efficiently Encoding Lattices for Reranking
• Title（参考訳）: EEL: 遅延を効率よくエンコードする
• Authors: Prasann Singhal, Jiacheng Xu, Xi Ye, Greg Durrett
• Abstract要約: 生成した出力の格子を効率的にエンコードするためにTransformerを使用します。 このアプローチをトークン駆動リランカ(TFR)の新しいクラスと組み合わせる。 以上の結果から,ダウンストリームメトリクスの性能は,従来の手法に比べて大幅に向上した。
• 参考スコア（独自算出の注目度）: 44.77383151122229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard decoding approaches for conditional text generation tasks typically search for an output hypothesis with high model probability, but this may not yield the best hypothesis according to human judgments of quality. Reranking to optimize for "downstream" metrics can better optimize for quality, but many metrics of interest are computed with pre-trained language models, which are slow to apply to large numbers of hypotheses. We explore an approach for reranking hypotheses by using Transformers to efficiently encode lattices of generated outputs, a method we call EEL. With a single Transformer pass over the entire lattice, we can approximately compute a contextualized representation of each token as if it were only part of a single hypothesis in isolation. We combine this approach with a new class of token-factored rerankers (TFRs) that allow for efficient extraction of high reranker-scoring hypotheses from the lattice. Empirically, our approach incurs minimal degradation error compared to the exponentially slower approach of encoding each hypothesis individually. When applying EEL with TFRs across three text generation tasks, our results show both substantial speedup compared to naive reranking and often better performance on downstream metrics than comparable approaches.
• Abstract（参考訳）: 条件付きテキスト生成タスクに対する標準デコードアプローチは、通常、高いモデル確率を持つ出力仮説を探索するが、品質の人間の判断では最良の仮説にはならない。 ダウンストリーム"のメトリクスを最適化するようにリランキングすることで、品質の最適化が向上するが、多くの関心のあるメトリクスは、事前学習された言語モデルで計算される。 本研究では, トランスフォーマーを用いて, 生成した出力の格子を効率よく符号化し, EELと呼ぶ手法を提案する。 一つのトランスフォーマーが格子全体を通過すると、各トークンの文脈化された表現を、まるで単独の仮説の一部に過ぎないかのように、大まかに計算できる。 我々は,このアプローチを新たなトークン分解型リカクタ(tfrs)と組み合わせることで,格子から高リカクタ分解仮説の効率的な抽出を可能にする。 実験では,各仮説を個別に符号化する指数的に遅い手法に比べて,最小の劣化誤差が生じる。 3 つのテキスト生成タスクに TFR を適用して EEL を適用すると、本研究の結果は、単純な再ランク付けよりも大幅に高速化され、ダウンストリームのメトリクスのパフォーマンスが同等のアプローチよりも向上することを示している。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Self-Consistent Decoding for More Factual Open Responses [28.184313177333642]
  Sample & Selectは、DoLA、P-CRR、S-CRRのデコーダに対して、30%の相対的なマージンで事実性を向上する。 生成した要約の人間による検証を収集し,本手法の実際的優位性を確認する。
  論文  参考訳（メタデータ） (2024-03-01T17:31:09Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Stability-Adjusted Cross-Validation for Sparse Linear Regression [5.156484100374059]
  k倍のクロスバリデーションのようなクロスバリデーション技術はスパース回帰の計算コストを大幅に増大させる。 クロスバリデーションメトリックの重み付け和とモデルの出力安定性を最小化するハイパーパラメータの選択を提案する。 我々の信頼度調整手順は、13の実世界のデータセット上で、テストセットエラーを平均で2%削減する。
  論文  参考訳（メタデータ） (2023-06-26T17:02:45Z)
• KNN-LM Does Not Improve Open-ended Text Generation [34.86733697757264]
  検索強化言語モデル(LM)の生成品質について検討する。 検索分布の補間は, ベースライントランスフォーマーLMと比較して, 実際にパープレキシティを増大させることがわかった。 検索分布のエントロピーは、生成シーケンスが長くなるにつれて、ベースLMのエントロピーよりも速く増加する。
  論文  参考訳（メタデータ） (2023-05-24T01:48:33Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。