論文の概要: Self-Consistent Decoding for More Factual Open Responses

• arxiv url: http://arxiv.org/abs/2403.00696v1
• Date: Fri, 1 Mar 2024 17:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:47:42.934804
• Title: Self-Consistent Decoding for More Factual Open Responses
• Title（参考訳）: より現実的なオープン応答のための自己整合デコーディング
• Authors: Christopher Malon and Xiaodan Zhu
• Abstract要約: Sample & Selectは、DoLA、P-CRR、S-CRRのデコーダに対して、30%の相対的なマージンで事実性を向上する。 生成した要約の人間による検証を収集し,本手法の実際的優位性を確認する。
• 参考スコア（独自算出の注目度）: 28.184313177333642
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Self-consistency has emerged as a powerful method for improving the accuracy of short answers generated by large language models. As previously defined, it only concerns the accuracy of a final answer parsed from generated text. In this work, we extend the idea to open response generation, by integrating voting into the decoding method. Each output sentence is selected from among multiple samples, conditioning on the previous selections, based on a simple token overlap score. We compare this "Sample & Select" method to greedy decoding, beam search, nucleus sampling, and the recently introduced hallucination avoiding decoders of DoLA, P-CRR, and S-CRR. We show that Sample & Select improves factuality by a 30% relative margin against these decoders in NLI-based evaluation on the subsets of CNN/DM and XSum used in the FRANK benchmark, while maintaining comparable ROUGE-1 F1 scores against reference summaries. We collect human verifications of the generated summaries, confirming the factual superiority of our method.
• Abstract（参考訳）: 自己整合性は、大規模言語モデルによって生成される短い回答の精度を向上させる強力な方法として登場した。 前述したように、生成されたテキストからパースされた最終回答の正確さにのみ関係している。 本研究では,デコード手法に投票を組み込むことにより,そのアイデアをオープン応答生成に拡張する。 各出力文は、単純なトークンオーバーラップスコアに基づいて、前の選択に基づいて複数のサンプルの中から選択される。 我々はこの"Sample & Select"法を、グリージーデコード、ビームサーチ、核サンプリング、最近導入された幻覚によるDoLA、P-CRR、S-CRRのデコーダを避けるために比較した。 FRANKベンチマークで使用されるCNN/DMとXSumのサブセットに対するNLIに基づく評価において、サンプルとセレクトは、参照サマリーに対するROUGE-1 F1スコアと同等のスコアを維持しながら、これらのデコーダに対して30%のマージンで現実性を向上することを示す。 生成した要約の人間による検証を収集し,本手法の実際的優位性を確認する。

関連論文リスト

• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• EEL: Efficiently Encoding Lattices for Reranking [44.77383151122229]
  生成した出力の格子を効率的にエンコードするためにTransformerを使用します。 このアプローチをトークン駆動リランカ(TFR)の新しいクラスと組み合わせる。 以上の結果から,ダウンストリームメトリクスの性能は,従来の手法に比べて大幅に向上した。
  論文  参考訳（メタデータ） (2023-06-01T17:45:32Z)
• Attributable and Scalable Opinion Summarization [79.87892048285819]
  我々は、頻繁なエンコーディングを復号することで抽象的な要約を生成し、同じ頻繁なエンコーディングに割り当てられた文を選択して抽出的な要約を生成する。 本手法は,要約プロセスの一部として要約を生成するために使用される文を同定するため,帰属的手法である。 なぜなら、アグリゲーションはトークンの長いシーケンスではなく、潜在空間で実行されるからである。
  論文  参考訳（メタデータ） (2023-05-19T11:30:37Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
  高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。 これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
  論文  参考訳（メタデータ） (2022-03-28T21:24:03Z)
• An Evaluation Study of Generative Adversarial Networks for Collaborative Filtering [75.83628561622287]
  本研究は、原論文で発表された結果の再現に成功し、CFGANフレームワークと原評価で使用されるモデルとの相違が与える影響について論じる。 この研究は、CFGANと単純でよく知られた適切に最適化されたベースラインの選択を比較した実験的な分析をさらに拡張し、CFGANは高い計算コストにもかかわらず、それらに対して一貫して競合していないことを観察した。
  論文  参考訳（メタデータ） (2022-01-05T20:53:27Z)
• Show Me How To Revise: Improving Lexically Constrained Sentence Generation with XLNet [27.567493727582736]
  本稿では,制約文生成のための2段階の手法"Predict and Revise"を提案する。 予測段階において、我々は分類器を利用して、候補文の学習前を計算した。 修正作業では, MCMCサンプリングを用いて, 学習前から抽出したサンプル位置でサンプル動作を行うことにより, 候補文の修正を行った。 実験結果から,提案手法は文の流布度や多様性の観点から,従来よりもはるかに優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-13T09:21:07Z)
• Convex Aggregation for Opinion Summarization [18.753472191533515]
  エンコーダデコーダモデルは、単一レビューを再構築するために訓練され、潜在レビューエンコーディング空間を学習する。 要約時には、潜在レビューベクトルの未重み付き平均を要約に復号する。 本稿では,意見要約のためのconvexベクトル集約フレームワークであるcoopを提案する。
  論文  参考訳（メタデータ） (2021-04-03T10:52:14Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。