論文の概要: Attribute First, then Generate: Locally-attributable Grounded Text Generation

• arxiv url: http://arxiv.org/abs/2403.17104v3
• Date: Thu, 4 Jul 2024 08:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 23:24:01.990673
• Title: Attribute First, then Generate: Locally-attributable Grounded Text Generation
• Title（参考訳）: Attribute First, then Generate: Locally-Atributable Grounded Text Generation
• Authors: Aviv Slobodkin, Eran Hirsch, Arie Cattan, Tal Schuster, Ido Dagan,
• Abstract要約: 本稿では,簡潔な属性を優先する局所帰属型テキスト生成手法を提案する。 Attribute First, then Generate"と名付けられたこの手法は,従来のエンドツーエンド生成プロセスを3つの直感的なステップに分解する。
• 参考スコア（独自算出の注目度）: 33.371400233333326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent efforts to address hallucinations in Large Language Models (LLMs) have focused on attributed text generation, which supplements generated texts with citations of supporting sources for post-generation fact-checking and corrections. Yet, these citations often point to entire documents or paragraphs, burdening users with extensive verification work. In this paper, we introduce a locally-attributable text generation approach, prioritizing concise attributions. Our method, named "Attribute First, then Generate", breaks down the conventional end-to-end generation process into three intuitive steps: content selection, sentence planning, and sequential sentence generation. By initially identifying relevant source segments ("select first") and then conditioning the generation process on them ("then generate"), we ensure these segments also act as the output's fine-grained attributions ("select" becomes "attribute"). Tested on Multi-document Summarization and Long-form Question-answering, our method not only yields more concise citations than the baselines but also maintains - and in some cases enhances - both generation quality and attribution accuracy. Furthermore, it significantly reduces the time required for fact verification by human assessors.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) における幻覚への取り組みは,生成したテキストに後代事実チェックと修正のための支援源の引用を補足する属性テキスト生成に焦点が当てられている。 しかし、これらの引用は文書や段落全体を指していることが多く、ユーザーを広範囲の検証作業に苦しめている。 本稿では,簡潔な属性を優先する局所帰属型テキスト生成手法を提案する。 Attribute First, then Generate" と名付けられた本手法は,従来のエンドツーエンド生成プロセスを,コンテンツ選択,文計画,逐次文生成という3つの直感的なステップに分解する。 最初は関連するソースセグメント("select first")を識別し、生成プロセス("then generation")を条件付けすることで、これらのセグメントが出力の微細な属性としても機能することを保証する("select"は"attribute")。 提案手法は,複数文書の要約と長文質問回答に基づいて,ベースラインよりも簡潔な引用を得られるだけでなく,生成品質と帰属精度を向上する。 さらに、人間の評価者による事実検証に要する時間を大幅に短縮する。

関連論文リスト

• Verifiable Generation with Subsentence-Level Fine-Grained Citations [13.931548733211436]
  検証可能な生成には、出力をサポートするソースドキュメントを引用するために、大きな言語モデルが必要である。 先行研究は主に文レベルの引用の生成を目標としており、引用された情報源によって文のどの部分が裏付けられているかの特異性が欠如している。 本研究は, サブ文レベルのきめ細かな引用による生成を検証し, 引用元が支持する生成コンテンツのより正確な位置について検討する。
  論文  参考訳（メタデータ） (2024-06-10T09:32:37Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
  言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。 従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。 本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
  論文  参考訳（メタデータ） (2023-08-30T02:22:40Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries [46.183289748907804]
  長文生成のためのアウトライン化,アウトライン化,エラボレートを行うパイプラインシステムSOEを提案する。 SOEは、より高速な収束速度とともに、非常に優れた品質の長いテキストを生成する。
  論文  参考訳（メタデータ） (2020-10-14T13:22:20Z)
• QURIOUS: Question Generation Pretraining for Text Generation [13.595014409069584]
  本稿では,テキスト生成目標に適合する事前学習手法として質問生成を提案する。 本手法で事前訓練したテキスト生成モデルは,入力の本質を理解するのが得意であり,目的タスクに適した言語モデルである。
  論文  参考訳（メタデータ） (2020-04-23T08:41:52Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。