論文の概要: Momentum Decoding: Open-ended Text Generation As Graph Exploration

• arxiv url: http://arxiv.org/abs/2212.02175v1
• Date: Mon, 5 Dec 2022 11:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 16:49:37.554027
• Title: Momentum Decoding: Open-ended Text Generation As Graph Exploration
• Title（参考訳）: Momentum Decoding: グラフ探索としてオープンなテキスト生成
• Authors: Tian Lan and Yixuan Su and Shuhang Liu and Heyan Huang and Xian-Ling Mao
• Abstract要約: 自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。 我々は、新しい視点から、すなわち、有向グラフ内の探索プロセスとして、オープンエンドテキスト生成を定式化する。 本稿では,新しい復号法であるtextitmomentum decodingを提案する。
• 参考スコア（独自算出の注目度）: 49.812280360794894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-ended text generation with autoregressive language models (LMs) is one of the core tasks in natural language processing. However, maximization-based decoding methods (e.g., greedy/beam search) often lead to the degeneration problem, i.e., the generated text is unnatural and contains undesirable repetitions. Existing solutions to this problem either introduce randomness prone to incoherence or require a look-ahead mechanism that demands extra computational overhead. In this study, we formulate open-ended text generation from a new perspective, i.e., we view it as an exploration process within a directed graph. Thereby, we understand the phenomenon of degeneration as circular loops within the directed graph. Based on our formulation, we propose a novel decoding method -- \textit{momentum decoding} -- which encourages the LM to \textit{greedily} explore new nodes outside the current graph. Meanwhile, it also allows the LM to return to the existing nodes with a momentum downgraded by a pre-defined resistance function. We extensively test our approach on three benchmarks from different domains through automatic and human evaluations. The results show that momentum decoding performs comparably with the current state of the art while enjoying notably improved inference speed and computation FLOPs. Furthermore, we conduct a detailed analysis to reveal the merits and inner workings of our approach. Our codes and other related resources are publicly available at https://github.com/gmftbyGMFTBY/MomentumDecoding.
• Abstract（参考訳）: 自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。 しかし、最大化に基づく復号法(例えばgreedy/beam search)は、しばしばデジェネレーション問題、すなわち生成されたテキストが不自然であり、望ましくない繰り返しを含む。 既存の解法は不整合にランダム性をもたらすか、余分な計算オーバーヘッドを必要とするルックアヘッド機構を必要とする。 本研究では, 有向グラフ内の探索過程として, 新たな視点から拡張されたテキスト生成を定式化する。 これにより、有向グラフ内の退化現象を円ループとして理解する。 我々の定式化に基づいて, LM が現在のグラフの外側の新しいノードを探索することを奨励する新しい復号法である \textit{momentum decoding} を提案する。 一方、lmは事前定義された抵抗関数によってモーメントが低下して既存のノードに戻ることができる。 我々は、自動評価と人的評価により、異なるドメインから3つのベンチマークでアプローチを広範囲にテストする。 その結果、運動量復号化は現在の技術と相容れない性能を示し、推論速度と計算FLOPを著しく改善した。 さらに,アプローチのメリットと内部動作を明らかにするために,詳細な分析を行う。 私たちのコードやその他の関連リソースはhttps://github.com/gmftbyGMFTBY/MomentumDecoding.comで公開されています。

関連論文リスト

• Explaining Graph Neural Networks with Large Language Models: A Counterfactual Perspective for Molecular Property Prediction [41.39277277686706]
  Graph Counterfactual Explanation (GCE)は、GNN透過性を改善するための有望なアプローチとして登場した。 本稿では,分子特性予測のための大規模言語モデル (LLM) のパワーを解き放つ新しいGCE法 LLM-GCE を提案する。
  論文  参考訳（メタデータ） (2024-10-19T17:34:36Z)
• The CLRS-Text Algorithmic Reasoning Language Benchmark [48.45201665463275]
  CLRS-TextはCLRSベンチマークのテキストバージョンである。 CLRS-Textは、30の多様な、挑戦的なアルゴリズムタスクのためのトレースデータを手続き的に生成することができる。 このベンチマークでは、様々なLMをジェネラリストエグゼクタとして微調整し評価する。
  論文  参考訳（メタデータ） (2024-06-06T16:29:25Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
  融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。 提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-17T02:51:37Z)
• Controllable Generation from Pre-trained Language Models via Inverse Prompting [47.23315683944257]
  テキスト生成をよりよく制御する革新的な手法である逆プロンプトを提案する。 逆プロンプトは生成されたテキストを使用してビーム探索中に逆プロンプトを予測する。 その結果,提案手法はベースラインを大きく上回ることがわかった。
  論文  参考訳（メタデータ） (2021-03-19T08:36:52Z)
• Structural Information Preserving for Graph-to-Text Generation [59.00642847499138]
  グラフ・トゥ・テキスト生成の課題は、入力グラフの意味を保存した文を生成することである。 入力情報を保存するためのモデルとして,より豊かなトレーニング信号を活用することで,この問題に取り組むことを提案する。 グラフからテキストへの生成のための2つのベンチマークに関する実験は、最先端のベースラインに対するアプローチの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-12T20:09:01Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。