論文の概要: Look-back Decoding for Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2305.13477v2
• Date: Mon, 23 Oct 2023 00:58:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 12:04:24.101387
• Title: Look-back Decoding for Open-Ended Text Generation
• Title（参考訳）: オープンエンディングテキスト生成のためのルックバックデコーディング
• Authors: Nan Xu, Chunting Zhou, Asli Celikyilmaz, Xuezhe Ma
• Abstract要約: 本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
• 参考スコア（独自算出の注目度）: 62.53302138266465
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Given a prefix (context), open-ended generation aims to decode texts that are coherent, which do not abruptly drift from previous topics, and informative, which do not suffer from undesired repetitions. In this paper, we propose Look-back, an improved decoding algorithm that leverages the Kullback-Leibler divergence to track the distribution distance between current and historical decoding steps. Thus Look-back can automatically predict potential repetitive phrase and topic drift, and remove tokens that may cause the failure modes, restricting the next token probability distribution within a plausible distance to the history. We perform decoding experiments on document continuation and story generation, and demonstrate that Look-back is able to generate more fluent and coherent text, outperforming other strong decoding methods significantly in both automatic and human evaluations.
• Abstract（参考訳）: プレフィックス(コンテキスト)が与えられると、open-ended generationは、前のトピックから突然外れない一貫性のあるテキストと、望ましくない繰り返しに苦しむことのないインフォメーションをデコードすることを目指している。 本稿では,kullback-leibler 発散を利用して現在および過去の復号過程間の分布距離を追跡する改良復号アルゴリズムである look-back を提案する。 このように、ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを除去し、履歴へのもっともらしい距離で次のトークン確率分布を制限する。 文書継続とストーリー生成に関するデコード実験を行い、ルックバックがより流動的でコヒーレントなテキストを生成することができ、自動評価と人間評価の両方において、他の強力なデコード手法を大きく上回ることを実証する。

関連論文リスト

• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• IPAD: Iterative, Parallel, and Diffusion-based Network for Scene Text Recognition [12.657177998736236]
  多様な応用により、シーンテキスト認識がますます注目を集めている。 最先端のほとんどのメソッドは、アテンション機構を備えたエンコーダ・デコーダフレームワークを採用しており、左から右へ自動回帰的にテキストを生成する。 本稿では,並列かつ反復的なデコーダを用いて,簡単なデコード戦略を採用する方法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T08:03:19Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• Momentum Decoding: Open-ended Text Generation As Graph Exploration [49.812280360794894]
  自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。 我々は、新しい視点から、すなわち、有向グラフ内の探索プロセスとして、オープンエンドテキスト生成を定式化する。 本稿では,新しい復号法であるtextitmomentum decodingを提案する。
  論文  参考訳（メタデータ） (2022-12-05T11:16:47Z)
• Addressing Leakage in Self-Supervised Contextualized Code Retrieval [3.693362838682697]
  部分的な入力プログラムのギャップを埋めるのに役立つコードスニペットの検索である、文脈化されたコード検索に対処する。 提案手法は,ソースコードをランダムにコンテキストとターゲットに分割することで,大規模な自己指導型コントラストトレーニングを促進する。 両者の漏えいに対処するため, 相互識別マスキング, 復号化, 構文に整合したターゲットの選択に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-17T12:58:38Z)
• Plot-guided Adversarial Example Construction for Evaluating Open-domain Story Generation [23.646133241521614]
  学習可能な評価指標は、人間の判断との相関性を高めることで、より正確な評価を約束しています。 以前の作品は、可能なシステムの欠点を模倣するために、テキスト理論的に操作可能な実例に依存していた。 本研究では,ストーリー生成に使用する制御可能な要因の構造化された表現であるエムプロットを用いて,より包括的でわかりにくいストーリーの集合を生成することで,これらの課題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-12T20:19:24Z)
• Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
  ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-12T17:58:43Z)
• Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
  私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。 まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。 次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
  論文  参考訳（メタデータ） (2020-05-05T09:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。