論文の概要: Unlocking Anticipatory Text Generation: A Constrained Approach for Large Language Models Decoding

• arxiv url: http://arxiv.org/abs/2312.06149v4
• Date: Fri, 04 Oct 2024 16:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:08:21.791462
• Title: Unlocking Anticipatory Text Generation: A Constrained Approach for Large Language Models Decoding
• Title（参考訳）: アンロック予測テキスト生成:大規模言語モデルデコードのための制約付きアプローチ
• Authors: Lifu Tu, Semih Yavuz, Jin Qu, Jiacheng Xu, Rui Meng, Caiming Xiong, Yingbo Zhou,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト生成の強力な能力を示している。 毒性や幻覚などの望ましくない行動が現れることがある。 将来制約付き生成問題としてテキスト生成の形式化を提案する。
• 参考スコア（独自算出の注目度）: 75.06872859716049
• License:
• Abstract: Large Language Models (LLMs) have demonstrated a powerful ability for text generation. However, achieving optimal results with a given prompt or instruction can be challenging, especially for billion-sized models. Additionally, undesired behaviors such as toxicity or hallucinations can manifest. While much larger models (e.g., ChatGPT) may demonstrate strength in mitigating these issues, there is still no guarantee of complete prevention. In this work, we propose formalizing text generation as a future-constrained generation problem to minimize undesirable behaviors and enforce faithfulness to instructions. The estimation of future constraint satisfaction, accomplished using LLMs, guides the text generation process. Our extensive experiments demonstrate the effectiveness of the proposed approach across three distinct text generation tasks: keyword-constrained generation (Lin et al., 2020), toxicity reduction (Gehman et al., 2020), and factual correctness in question-answering (Gao et al., 2023).
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト生成の強力な能力を示している。 しかしながら、与えられたプロンプトや命令で最適な結果を達成することは、特に数十億規模のモデルでは困難である。 さらに、毒性や幻覚などの望ましくない行動が現れることがある。 より大きなモデル(例えばChatGPT)はこれらの問題を緩和する上での強みを示すかもしれないが、完全な予防は保証されていない。 本研究では,テキスト生成を将来制約のある生成問題として形式化し,望ましくない振る舞いを最小化し,命令に忠実さを強制することを提案する。 LLMを用いた将来の制約満足度の推定は、テキスト生成プロセスのガイドとなる。 我々は,キーワード制約付き生成(Lin et al , 2020),毒性低下(Gehman et al , 2020),質問応答における事実的正当性(Gao et al , 2023)の3つの異なるテキスト生成タスクにおいて提案手法の有効性を実証した。

関連論文リスト

• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• Constructing Highly Inductive Contexts for Dialogue Safety through Controllable Reverse Generation [65.48908724440047]
  そこで本稿では,ある応答に条件付けされた逆コンテキストを構築するために,エンフレバース生成と呼ばれる手法を提案する。 我々は,Blender,DialoGPT,Plato2の3種類の事前訓練済み対話モデルをテストする。
  論文  参考訳（メタデータ） (2022-12-04T12:23:41Z)
• Why is constrained neural language generation particularly challenging? [13.62873478165553]
  本稿では、制約付きニューラルネットワーク生成の新たな話題について広範な調査を行う。 我々は条件と制約を区別し、制約付きテキスト生成タスクを提示し、制約付きテキスト生成のための既存の方法と評価指標をレビューする。 我々の目標は、この新興分野の最近の進歩とトレンドを強調し、最も有望な方向性と、制約のあるニューラルネットワーク生成研究の最先端への限界を知らせることである。
  論文  参考訳（メタデータ） (2022-06-11T02:07:33Z)
• NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics [73.96837492216204]
  本稿では,将来のコスト見積を組み込んだ復号アルゴリズムであるNeuroLogic A*esqueを提案する。 大規模言語モデルに効率的な効率的なルックアヘッドを開発する。 提案手法は,5世代タスクにおける競合的ベースラインと,テーブル・トゥ・テキスト生成,制約された機械翻訳,キーワード制約付き生成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T09:22:54Z)
• Extract, Denoise, and Enforce: Evaluating and Predicting Lexical Constraints for Conditional Text Generation [31.341566859483056]
  現在のPLMが入力に重要な概念を保存するのに十分であるかどうかを研究するために条件生成の体系的な分析を提示する。 本稿では,制約のない世代に比較して,自動制約抽出,デノベーション,実施の枠組みを提案する。
  論文  参考訳（メタデータ） (2021-04-18T05:29:02Z)
• Facts2Story: Controlling Text Generation by Key Facts [0.0]
  自然言語で表現された一連の事実を、より長い物語に展開し、制御された生成タスクを提案する。 我々は、GPT2のような自動回帰型一方向言語モデルは、より良い流動性を生み出すが、彼らは要求された事実に従うのに苦労することを示した。 本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。
  論文  参考訳（メタデータ） (2020-12-08T10:14:29Z)
• TextGAIL: Generative Adversarial Imitation Learning for Text Generation [68.3579946817937]
  本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。 提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
  論文  参考訳（メタデータ） (2020-04-07T00:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。