論文の概要: Analysis of Plan-based Retrieval for Grounded Text Generation
- arxiv url: http://arxiv.org/abs/2408.10490v1
- Date: Tue, 20 Aug 2024 02:19:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 15:24:37.159793
- Title: Analysis of Plan-based Retrieval for Grounded Text Generation
- Title（参考訳）: 接地テキスト生成のための計画ベース検索手法の解析
- Authors: Ameya Godbole, Nicholas Monath, Seungyeon Kim, Ankit Singh Rawat, Andrew McCallum, Manzil Zaheer,
- Abstract要約: 幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。
この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。
我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
- 参考スコア（独自算出の注目度）: 78.89478272104739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In text generation, hallucinations refer to the generation of seemingly coherent text that contradicts established knowledge. One compelling hypothesis is that hallucinations occur when a language model is given a generation task outside its parametric knowledge (due to rarity, recency, domain, etc.). A common strategy to address this limitation is to infuse the language models with retrieval mechanisms, providing the model with relevant knowledge for the task. In this paper, we leverage the planning capabilities of instruction-tuned LLMs and analyze how planning can be used to guide retrieval to further reduce the frequency of hallucinations. We empirically evaluate several variations of our proposed approach on long-form text generation tasks. By improving the coverage of relevant facts, plan-guided retrieval and generation can produce more informative responses while providing a higher rate of attribution to source documents.
- Abstract（参考訳）: テキスト生成において、幻覚とは、確立された知識と矛盾する一見一貫性のあるテキストの生成を指す。
1つの説得力ある仮説は、言語モデルがそのパラメトリック知識(希少性、相対性、領域など)の外で生成タスクを与えられたときに、幻覚が起こるというものである。
この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入し、タスクに関連する知識をモデルに提供することである。
本稿では,命令調整型LLMの計画能力を活用し,幻覚の頻度をさらに低減するために,探索のガイドとして計画をどのように利用できるか分析する。
長文テキスト生成タスクにおける提案手法の様々なバリエーションを実証的に評価する。
関連事実のカバレッジを改善することで、プラン誘導検索と生成により、ソース文書への寄与率を高めつつ、より情報的な応答が得られる。
関連論文リスト
- A Survey on Natural Language Counterfactual Generation [7.022371235308068]
自然言語のカウンターファクト生成は、修正されたテキストが別のクラスに分類されるように、与えられたテキストを最小限に修正することを目的としている。
生成手法を4つのグループに体系的に分類し、生成品質を評価するための指標を要約する新しい分類法を提案する。
論文 参考訳（メタデータ） (2024-07-04T15:13:59Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳（メタデータ） (2023-05-24T16:17:36Z) - Retrieval augmentation of large language models for lay language
generation [12.686922203465896]
本稿では,最大 (63kペア) および最大 (12ジャーナル) 並列コーパスである CellS を紹介した。
抽象化とそれに対応するレイ言語要約は、ドメインの専門家によって書かれ、データセットの品質が保証されます。
我々はCellSから2つの特別なペアコーパスを抽出し、素言語生成における重要な課題に対処する。
論文 参考訳（メタデータ） (2022-11-07T19:06:53Z) - Survey of Hallucination in Natural Language Generation [69.9926849848132]
近年,シーケンス間深層学習技術の発展により,自然言語生成(NLG)は指数関数的に向上している。
深層学習に基づく生成は意図しないテキストを幻覚させる傾向があるため、システム性能は低下する。
この調査は、NLGにおける幻覚テキストの課題に取り組む研究者の協力活動を促進するのに役立つ。
論文 参考訳（メタデータ） (2022-02-08T03:55:01Z) - A Survey on Retrieval-Augmented Text Generation [53.04991859796971]
Retrieval-augmented text generationは顕著な利点があり、多くのNLPタスクで最先端のパフォーマンスを実現している。
まず、検索拡張生成の一般的なパラダイムを強調し、異なるタスクに応じて注目すべきアプローチをレビューする。
論文 参考訳（メタデータ） (2022-02-02T16:18:41Z) - Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。
本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
論文 参考訳（メタデータ） (2020-05-04T05:45:13Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-05-01T21:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。