論文の概要: Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models

• arxiv url: http://arxiv.org/abs/2010.08566v4
• Date: Fri, 24 Dec 2021 19:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 21:05:28.162583
• Title: Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models
• Title（参考訳）: リフレクティブデコーディング:オフザシェルフ言語モデルによる一方向生成を超えて
• Authors: Peter West, Ximing Lu, Ari Holtzman, Chandra Bhagavatula, Jena Hwang, Yejin Choi
• Abstract要約: 大規模な事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へ連続的にしか生成しない。 非順序タスクへの一方向LMの直接適用を可能にする新しい教師なしアルゴリズムであるReflective Decodingを提案する。 2段階のアプローチでは、監視もパラレルコーパスも必要ありません。
• 参考スコア（独自算出の注目度）: 63.808843089941405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Publicly available, large pretrained LanguageModels (LMs) generate text with remarkable quality, but only sequentially from left to right. As a result, they are not immediately applicable to generation tasks that break the unidirectional assumption, such as paraphrasing or text-infilling, necessitating task-specific supervision. In this paper, we present Reflective Decoding, a novel unsupervised algorithm that allows for direct application of unidirectional LMs to non-sequential tasks. Our 2-step approach requires no supervision or even parallel corpora, only two off-the-shelf pretrained LMs in opposite directions: forward and backward. First, in the contextualization step, we use LMs to generate ensembles of past and future contexts which collectively capture the input (e.g. the source sentence for paraphrasing). Second, in the reflection step, we condition on these "context ensembles", generating outputs that are compatible with them. Comprehensive empirical results demonstrate that Reflective Decoding outperforms strong unsupervised baselines on both paraphrasing and abductive text infilling, significantly narrowing the gap between unsupervised and supervised methods. Reflective Decoding surpasses multiple supervised baselines on various metrics including human evaluation.
• Abstract（参考訳）: 一般公開され、大きな事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へしか連続しない。 結果として、それらは、タスク固有の監督を必要とするパラフレージングやテキストインフィルなどの一方向の仮定を破る生成タスクに即座には適用されない。 本稿では,一方向LMの非順序タスクへの直接適用を可能にする新しい非教師付きアルゴリズムであるリフレクティブデコーディングを提案する。 2段階のアプローチでは、監督やパラレルコーパスは必要ありません。 まず、文脈化ステップにおいて、私たちはLMを使用して、入力をまとめてキャプチャする過去と将来のコンテキストのアンサンブルを生成します(例えば、パラフレーズのソース文)。 第2に、リフレクションステップでは、これらの「コンテキストアンサンブル」を条件とし、それらと互換性のある出力を生成する。 包括的実証実験の結果、反射的復号法はパラフレージングと帰納的テキスト埋入の両方において強い教師なしベースラインを上回り、教師なしメソッドと教師なしメソッドのギャップを著しく狭めることが示された。 反射復号は、人的評価を含む様々な指標で複数の教師付きベースラインを超える。

関連論文リスト

• InstUPR : Instruction-based Unsupervised Passage Reranking with Large Language Models [35.067998820937284]
  InstUPRは、大規模言語モデル(LLM)に基づく教師なしパスのランク付け手法である。 ソフトスコアアグリゲーション手法を導入し、教師なしパスの再ランクにペアワイズ・リランクを採用する。 BEIRベンチマークの実験では、InstUPRは教師なしベースラインと命令調整されたリランカよりも優れていた。
  論文  参考訳（メタデータ） (2024-03-25T05:31:22Z)
• BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
  本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。 具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。 次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
  論文  参考訳（メタデータ） (2023-10-25T23:32:12Z)
• Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs' Non-linear Thinking [40.22335733384235]
  CoT(Chain-of-Thought)のプロンプトとその変種は、高レベルの推論能力を持つ大規模言語モデルを装備することを模索している。 我々は,排除と推論の原理を組み合わせた新しいプロンプトである textbfInferential textbfExclusion textbfPrompting (IEP) を提案する。
  論文  参考訳（メタデータ） (2023-10-18T21:42:16Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Learning to Selectively Learn for Weakly-supervised Paraphrase Generation [81.65399115750054]
  弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。 具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。 検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。 提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
  論文  参考訳（メタデータ） (2021-09-25T23:31:13Z)
• Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
  ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-12T17:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。