論文の概要: Reranking for Natural Language Generation from Logical Forms: A Study
based on Large Language Models
- arxiv url: http://arxiv.org/abs/2309.12294v1
- Date: Thu, 21 Sep 2023 17:54:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 13:48:14.047919
- Title: Reranking for Natural Language Generation from Logical Forms: A Study
based on Large Language Models
- Title(参考訳): 論理形式からの自然言語生成のためのリランキング--大規模言語モデルに基づく研究
- Authors: Levon Haroutunian, Zhuang Li, Lucian Galescu, Philip Cohen, Raj
Tumuluri, Gholamreza Haffari
- Abstract要約: 大規模言語モデル(LLM)は、自然言語生成において印象的な能力を示している。
しかし、それらの出力品質は矛盾する可能性があり、論理形式(LF)から自然言語を生成する上での課題を提起する。
- 参考スコア(独自算出の注目度): 47.08364281023261
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) have demonstrated impressive capabilities in
natural language generation. However, their output quality can be inconsistent,
posing challenges for generating natural language from logical forms (LFs).
This task requires the generated outputs to embody the exact semantics of LFs,
without missing any LF semantics or creating any hallucinations. In this work,
we tackle this issue by proposing a novel generate-and-rerank approach. Our
approach involves initially generating a set of candidate outputs by prompting
an LLM and subsequently reranking them using a task-specific reranker model. In
addition, we curate a manually collected dataset to evaluate the alignment
between different ranking metrics and human judgements. The chosen ranking
metrics are utilized to enhance the training and evaluation of the reranker
model. By conducting extensive experiments on three diverse datasets, we
demonstrate that the candidates selected by our reranker outperform those
selected by baseline methods in terms of semantic consistency and fluency, as
measured by three comprehensive metrics. Our findings provide strong evidence
for the effectiveness of our approach in improving the quality of generated
outputs.
- Abstract(参考訳): 大規模言語モデル(llm)は自然言語生成において印象的な能力を示している。
しかし、それらの出力品質は一貫性がなく、論理形式(lfs)から自然言語を生成する上での課題となる。
このタスクは、LFの正確な意味を具現化するために生成された出力を必要とする。
本研究では,新しい生成・再生手法を提案することで,この問題に取り組む。
提案手法では,まずLLMを起動し,タスク固有の再ランカモデルを用いて再ランク付けすることで,一連の候補出力を生成する。
さらに,手作業で収集したデータセットを収集し,評価指標と判断結果の一致度を評価する。
選択されたランキング指標を用いて、リカクタモデルのトレーニングと評価を強化する。
3つの多種多様なデータセットについて広範な実験を行い,3つの総合的なメトリクスを用いて,ベースライン法で選択した候補が,セマンティクスの一貫性とフラレンシという観点で選択された候補よりも優れていることを示す。
本研究は,本手法が生成した出力の品質向上に有効であることを示す。
関連論文リスト
- Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z) - A Systematic Evaluation of Large Language Models on Out-of-Distribution
Logical Reasoning Tasks [26.594772352365553]
我々は「ReClor-plus」、「LogiQA-plus」、「LogiQAv2-plus」という3つの新しい論理推論データセットを提案する。
単純なトリックが言語モデルの性能を著しく損なうことを示す。
そこで本研究では,大規模学習セットの摂動によるタスク変動の導入により,論理的推論タスクにおけるモデルの一般化とロバスト性を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-10-13T22:29:15Z) - Large Language Model as Attributed Training Data Generator: A Tale of
Diversity and Bias [92.41919689753051]
大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。
本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。
属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
論文 参考訳(メタデータ) (2023-06-28T03:31:31Z) - Training Language Models with Language Feedback at Scale [50.70091340506957]
我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。
ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。
理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
論文 参考訳(メタデータ) (2023-03-28T17:04:15Z) - Multi-Scales Data Augmentation Approach In Natural Language Inference
For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。
データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。
本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
論文 参考訳(メタデータ) (2022-12-16T23:37:44Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
論文 参考訳(メタデータ) (2020-04-29T17:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。