論文の概要: Controllable Multi-document Summarization: Coverage & Coherence
Intuitive Policy with Large Language Model Based Rewards
- arxiv url: http://arxiv.org/abs/2310.03473v1
- Date: Thu, 5 Oct 2023 11:29:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 16:35:28.858120
- Title: Controllable Multi-document Summarization: Coverage & Coherence
Intuitive Policy with Large Language Model Based Rewards
- Title(参考訳): 制御可能なマルチドキュメント要約: 大きな言語モデルに基づく報酬によるカバレッジとコヒーレンス直観的なポリシー
- Authors: Litton J Kurisinkel, Nancy F chen
- Abstract要約: 可制御性(英: controllability)とは、複数文書の要約などの長い入力を持つテキスト生成タスクにおいて問題となる問題である。
LLMによって洗練されるテキストを抽出するために、制御可能なコンテンツ抽出スキームを訓練する。
提案手法は,ROUGE測定値を用いた評価において競争結果が得られ,コヒーレンスにおける潜在的なベースラインよりも優れる。
- 参考スコア(独自算出の注目度): 42.171703872560286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory-efficient large language models are good at refining text input for
better readability. However, controllability is a matter of concern when it
comes to text generation tasks with long inputs, such as multi-document
summarization. In this work, we investigate for a generic controllable approach
for multi-document summarization that leverages the capabilities of LLMs to
refine the text. In particular, we train a controllable content extraction
scheme to extract the text that will be refined by an LLM. The scheme is
designed with a novel coverage and coherence intuitive policy, which is duly
rewarded by a passively trained LLM. Our approach yields competitive results in
the evaluation using ROUGE metrics and outperforms potential baselines in
coherence, as per human evaluation.
- Abstract(参考訳): メモリ効率の良い大規模言語モデルは、読みやすさを改善するためにテキスト入力を洗練するのに優れている。
しかし、マルチドキュメント要約のような長い入力を持つテキスト生成タスクに関しては、制御性が問題となる。
本研究では,LLMの機能を活かした多文書要約のための汎用的な制御可能な手法について検討する。
特に、LLMによって洗練されるテキストを抽出するために、制御可能なコンテンツ抽出スキームを訓練する。
このスキームは、新しいカバレッジとコヒーレンス直感的なポリシーで設計されており、受動的に訓練されたllmによって厳格に報いる。
提案手法は,ROUGE測定値を用いた評価において競争結果が得られ,コヒーレンスにおける潜在的なベースラインよりも優れる。
関連論文リスト
- Can Large Language Model Summarizers Adapt to Diverse Scientific
Communication Goals? [23.40876690980701]
科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。
MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
論文 参考訳(メタデータ) (2024-01-18T23:00:54Z) - Prompt Highlighter: Interactive Control for Multi-Modal LLMs [54.53324095171722]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。
本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。
推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文 参考訳(メタデータ) (2023-12-07T13:53:29Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - Which is better? Exploring Prompting Strategy For LLM-based Metrics [6.681126871165601]
本稿では,DSBA が提案する Prompting Large Language Models を Explainable Metrics 共有タスクとして記述する。
BLEUやROUGEのような従来の類似性に基づくメトリクスは、人間の評価に悪影響を与えており、オープンな生成タスクには適していない。
論文 参考訳(メタデータ) (2023-11-07T06:36:39Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - Generating Efficient Training Data via LLM-based Attribute Manipulation [25.31066359340154]
そこで本稿では,CoTAM (Chain-of-Thoughts Attribute Manipulation) という新しい手法を提案する。
顔属性の操作にインスパイアされた本手法は,大規模言語モデルを用いてラベル変更データを生成する。
論文 参考訳(メタデータ) (2023-07-14T00:10:03Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - An Enhanced MeanSum Method For Generating Hotel Multi-Review
Summarizations [0.06091702876917279]
マルチアスペクトマーカ(MAM)をコンテンツセレクタとして使用し、マルチアスペクトでこの問題に対処する。
また,生成した要約の長さを制御する正規化器を提案する。
改良されたモデルでは,元のMeansum法よりも高いROUGE,知覚精度が得られる。
論文 参考訳(メタデータ) (2020-12-07T13:16:01Z) - Interpretable Multi-Headed Attention for Abstractive Summarization at
Controllable Lengths [14.762731718325002]
MLS(Multi-level Summarizer)は、テキスト文書の要約を制御可能な長さで構築するための教師付き手法である。
MLSはMETEORスコアで14.70%の強いベースラインを上回ります。
論文 参考訳(メタデータ) (2020-02-18T19:40:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。