論文の概要: PairReranker: Pairwise Reranking for Natural Language Generation
- arxiv url: http://arxiv.org/abs/2212.10555v1
- Date: Tue, 20 Dec 2022 18:56:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 13:34:14.740067
- Title: PairReranker: Pairwise Reranking for Natural Language Generation
- Title（参考訳）: PairReranker: 自然言語生成のためのペアワイドリグレード
- Authors: Dongfu Jiang, Bill Yuchen Lin, Xiang Ren
- Abstract要約: 複数の復号法から最高の出力を選択することで、性能が大幅に向上することを示す。
本稿では,1つのエンコーダと2つの損失関数を用いて,入力元と2つの候補を共同で符号化する新しい手法,textscPairRerankerを提案する。
3つのNLGタスクの実験は、textscPairRerankerの有効性と柔軟性を示し、強い結果を示した。
- 参考スコア（独自算出の注目度）: 33.73671362609599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained language models have been successful in natural language
generation (NLG) tasks. While various decoding methods have been employed, they
often produce suboptimal results. We first present an empirical analysis of
three NLG tasks: summarization, machine translation, and constrained text
generation. We found that selecting the best output from the results of
multiple decoding methods can significantly improve performance. To further
improve reranking for NLG tasks, we proposed a novel method,
\textsc{PairReranker}, which uses a single encoder and a pairwise loss function
to jointly encode a source input and a pair of candidates and compare them.
Experiments on three NLG tasks demonstrated the effectiveness and flexibility
of \textsc{PairReranker}, showing strong results, compared with previous
baselines. In addition, our \textsc{PairReranker} can generalize to
significantly improve GPT-3 (text-davinci-003) results (e.g., 24.55\% on
CommonGen and 11.35\% on WMT18 zh-en), even though our rerankers are not
trained with any GPT-3 candidates.
- Abstract（参考訳）: 事前訓練された言語モデルは自然言語生成(NLG)タスクで成功している。
様々な復号法が用いられているが、しばしば準最適結果を生成する。
まず, 要約, 機械翻訳, 制約付きテキスト生成という3つの NLG タスクの実証分析を行った。
複数の復号法の結果から最高の出力を選択すると性能が大幅に向上することがわかった。
nlgタスクの再ランク付けをさらに改善するために,1つのエンコーダとペアワイズ損失関数を用いて,ソース入力と2つの候補を共同でエンコードし比較する,新しい方法である \textsc{pairreranker} を提案する。
3つのnlgタスクの実験により、以前のベースラインと比較して強い結果を示した \textsc{pairreranker} の有効性と柔軟性が示された。
さらに、我々の \textsc{PairReranker} は GPT-3 (text-davinci-003) の結果(CommonGen では 24.55 %、WMT18 zh-en では 11.35 %)を大幅に改善するために一般化できる。
関連論文リスト
- Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。
我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
論文 参考訳（メタデータ） (2024-11-05T07:12:36Z) - Stress Detection on Code-Mixed Texts in Dravidian Languages using Machine Learning [0.0]
ストレスは日常生活において一般的な感覚であるが、いくつかの状況では精神的健康に影響することがある。
本研究では,ドラビディアン言語用コード混合テキストにおけるストレス識別のための方法論的アプローチを提案する。
論文 参考訳（メタデータ） (2024-10-08T23:49:31Z) - Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。
このアプローチは英語以外のタスクではうまくいきません。
モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-15T15:14:01Z) - GECTurk: Grammatical Error Correction and Detection Dataset for Turkish [1.804922416527064]
文法的誤り検出・訂正(GEC)ツールは、母語話者と第二言語学習者にとって有用であることが証明されている。
合成データ生成は、そのようなデータの不足を克服するための一般的なプラクティスである。
トルコ語のためのフレキシブルで総合的なデータ生成パイプラインを提案し、20以上の専門家による文法と綴り規則をカバーしている。
論文 参考訳（メタデータ） (2023-09-20T14:25:44Z) - ReGen: Zero-Shot Text Classification via Training Data Generation with
Progressive Dense Retrieval [22.882301169283323]
一般ドメインの未ラベルコーパスからトレーニングデータを作成するための検索強化フレームワークを提案する。
9つのデータセットの実験では、REGENは最強のベースラインに対して4.3%のゲインを達成し、大きなNLGモデルを使用したベースラインと比較して約70%の時間を節約している。
論文 参考訳（メタデータ） (2023-05-18T04:30:09Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - Language Models are Few-Shot Learners [61.36677350504291]
言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。
我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。
GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-05-28T17:29:03Z) - Knowledge Distillation for Multilingual Unsupervised Neural Machine
Translation [61.88012735215636]
unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。
UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。
本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
論文 参考訳（メタデータ） (2020-04-21T17:26:16Z) - TextGAIL: Generative Adversarial Imitation Learning for Text Generation [68.3579946817937]
本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。
提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
論文 参考訳（メタデータ） (2020-04-07T00:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。