論文の概要: A Lightweight Constrained Generation Alternative for Query-focused Summarization

• arxiv url: http://arxiv.org/abs/2304.11721v1
• Date: Sun, 23 Apr 2023 18:43:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 16:45:35.150341
• Title: A Lightweight Constrained Generation Alternative for Query-focused Summarization
• Title（参考訳）: クエリに着目した要約のための軽量制約生成代替手法
• Authors: Zhichao Xu, Daniel Cohen
• Abstract要約: クエリ中心の要約(QFS)は、あるクエリの必要な情報を満たすドキュメントの要約を提供することを目的としている。 我々は,最近開発された制約付き世代モデルニューロロジカルデコーディング(NLD)を,現在のQFS方式の代替として活用することを提案する。 本稿では,2つの公開QFSコレクションに対するこのアプローチの有効性を,複雑性を著しく低減した最先端モデルとほぼ同等に示す。
• 参考スコア（独自算出の注目度）: 8.264410236351111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query-focused summarization (QFS) aims to provide a summary of a document that satisfies information need of a given query and is useful in various IR applications, such as abstractive snippet generation. Current QFS approaches typically involve injecting additional information, e.g. query-answer relevance or fine-grained token-level interaction between a query and document, into a finetuned large language model. However, these approaches often require extra parameters \& training, and generalize poorly to new dataset distributions. To mitigate this, we propose leveraging a recently developed constrained generation model Neurological Decoding (NLD) as an alternative to current QFS regimes which rely on additional sub-architectures and training. We first construct lexical constraints by identifying important tokens from the document using a lightweight gradient attribution model, then subsequently force the generated summary to satisfy these constraints by directly manipulating the final vocabulary likelihood. This lightweight approach requires no additional parameters or finetuning as it utilizes both an off-the-shelf neural retrieval model to construct the constraints and a standard generative language model to produce the QFS. We demonstrate the efficacy of this approach on two public QFS collections achieving near parity with the state-of-the-art model with substantially reduced complexity.
• Abstract（参考訳）: クエリ中心の要約(QFS)は、与えられたクエリの情報要求を満たすドキュメントの要約を提供することを目的としており、抽象的なスニペット生成のような様々なIRアプリケーションで有用である。 現在のQFSアプローチでは、クエリー・アンサーの関連性やクエリーとドキュメント間のきめ細かいトークンレベルの相互作用などの追加情報を、微調整された大きな言語モデルに注入するのが一般的である。 しかし、これらのアプローチは、しばしば余分なパラメータ \& トレーニングを必要とし、新しいデータセットの分布に悪影響を及ぼす。 これを緩和するために、我々は最近開発された制約付き世代モデルニューロロジカルデコーディング(NLD)を、追加のサブアーキテクチャとトレーニングに依存する現在のQFS体制の代替として活用することを提案する。 まず、軽量な勾配帰属モデルを用いて文書から重要なトークンを識別することで語彙制約を構築し、その後、生成された要約を最終的な語彙度を直接操作することでこれらの制約を満たすように強制する。 この軽量なアプローチでは、制約を構築するためにオフザシェルフニューラルネットワークモデルと、QFSを生成するための標準生成言語モデルの両方を使用するため、追加のパラメータや微調整を必要としない。 本稿では,2つの公開QFSコレクションに対するこのアプローチの有効性を,複雑性を著しく低減した最先端モデルとほぼ同等に示す。

関連論文リスト

• IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
  クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。 本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。 これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T07:14:56Z)
• It's All Relative! -- A Synthetic Query Generation Approach for Improving Zero-Shot Relevance Prediction [19.881193965130173]
  大規模言語モデル(LLM)は、最大8つのデモをプロンプトすることで、合成クエリ-ドキュメントペアを生成する能力を示す。 異なるラベルに対するクエリを同時に生成することで,この負担を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-11-14T06:16:49Z)
• Jaeger: A Concatenation-Based Multi-Transformer VQA Model [0.13654846342364307]
  文書に基づく視覚質問応答は,言語感覚の曖昧さと細粒度マルチモーダル検索の間に難しい課題を生じさせる。 本稿では,結合型マルチトランスVQAモデルであるJaegarを提案する。 我々のアプローチは、結合によってこれらのモデルの性能を増幅する可能性がある。
  論文  参考訳（メタデータ） (2023-10-11T00:14:40Z)
• QontSum: On Contrasting Salient Content for Query-focused Summarization [22.738731393540633]
  クエリ中心の要約(QFS)は、特定のクエリに対処する要約を生成する自然言語処理において難しいタスクである。 本稿では,GARにおけるQFSの役割について述べる。 コントラスト学習を利用したQFSの新しい手法であるQontSumを提案する。
  論文  参考訳（メタデータ） (2023-07-14T19:25:35Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
  本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。 本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。 最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
  論文  参考訳（メタデータ） (2020-12-29T14:39:35Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。