論文の概要: Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2010.05906v4
• Date: Mon, 2 Aug 2021 19:03:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 05:21:40.937245
• Title: Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning
• Title（参考訳）: バック・トゥ・ザ・フューチャー:非教師なしバックプロップベースのデコードによる反事実的およびアブダプティブ・コモンセンス推論
• Authors: Lianhui Qin, Vered Shwartz, Peter West, Chandra Bhagavatula, Jena Hwang, Ronan Le Bras, Antoine Bosselut, Yejin Choi
• Abstract要約: ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 79.48769764508006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abductive and counterfactual reasoning, core abilities of everyday human cognition, require reasoning about what might have happened at time t, while conditioning on multiple contexts from the relative past and future. However, simultaneous incorporation of past and future contexts using generative language models (LMs) can be challenging, as they are trained either to condition only on the past context or to perform narrowly scoped text-infilling. In this paper, we propose DeLorean, a new unsupervised decoding algorithm that can flexibly incorporate both the past and future contexts using only off-the-shelf, left-to-right language models and no supervision. The key intuition of our algorithm is incorporating the future through back-propagation, during which, we only update the internal representation of the output while fixing the model parameters. By alternating between forward and backward propagation, DeLorean can decode the output representation that reflects both the left and right contexts. We demonstrate that our approach is general and applicable to two nonmonotonic reasoning tasks: abductive text generation and counterfactual story revision, where DeLorean outperforms a range of unsupervised and some supervised methods, based on automatic and human evaluation.
• Abstract（参考訳）: 帰納的かつ反事実的推論は、日常的な人間の認知の中核的な能力であり、時間tで何が起こったのかを推論し、相対的な過去と未来から複数の文脈で条件付けする必要がある。 しかしながら、生成言語モデル(lms)を用いた過去と将来のコンテキストの同時取り込みは、過去のコンテキストのみに条件を付けるか、狭い範囲のテキストインフィルングを実行するように訓練されるため、難しい場合がある。 本稿では,非教師なしのデコードアルゴリズムであるdeloreanを提案する。非教師なしデコードアルゴリズムは,既成の左右言語モデルのみを使用して,過去と未来の両方のコンテキストを柔軟に組み込むことができる。 アルゴリズムの重要な直感は、バックプロパゲーションによって未来を取り入れることであり、その間、モデルパラメータを固定しながら出力の内部表現だけを更新する。 前方と後方の伝搬を交互に行うことで、DeLoreanは左右両方のコンテキストを反映する出力表現をデコードできる。 このアプローチは,非単調な2つの推論タスク,すなわち推論テキスト生成と反事実的ストーリーリビジョンに適用可能であることを実証する。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• When Only Time Will Tell: Interpreting How Transformers Process Local Ambiguities Through the Lens of Restart-Incrementality [19.103130032967663]
  因果的モデルは1つの解釈を出力して継続せざるを得ないが、修正可能なモデルはあいまいさが解決されるにつれて、以前の出力を編集することができる。 本研究では、再起動・インクリメンタルトランスフォーマーが内部状態を構築・更新する方法について検討し、自動回帰モデルではリビジョンが不可能なプロセスが何を引き起こすかを明らかにする。
  論文  参考訳（メタデータ） (2024-02-20T16:09:49Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• Future Sight: Dynamic Story Generation with Large Pretrained Language Models [11.23192733149335]
  トランスフォーマーデコーダは、以前に生成されたテキストに対してのみ新しいテキストを生成することができる。 Future Sightはデコーダが符号化された将来のプロットイベントに参加することを可能にする。 推論中、将来のプロットイベントは人間の著者によって書かれ、ある方向に生成された物語を操縦することができる。
  論文  参考訳（メタデータ） (2022-12-20T01:53:26Z)
• Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models [63.808843089941405]
  大規模な事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へ連続的にしか生成しない。 非順序タスクへの一方向LMの直接適用を可能にする新しい教師なしアルゴリズムであるReflective Decodingを提案する。 2段階のアプローチでは、監視もパラレルコーパスも必要ありません。
  論文  参考訳（メタデータ） (2020-10-16T18:02:07Z)
• A Probabilistic Formulation of Unsupervised Text Style Transfer [128.80213211598752]
  従来提案されていた非生成的手法を統一した教師なしテキストスタイル転送のための深層生成モデルを提案する。 観測された各シーケンスを生成する並列潜時シーケンスを仮定することにより、我々のモデルは、完全に教師なしの方法で、あるドメインから別のドメインへシーケンスを変換することを学ぶ。
  論文  参考訳（メタデータ） (2020-02-10T16:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。