論文の概要: LenAtten: An Effective Length Controlling Unit For Text Summarization
- arxiv url: http://arxiv.org/abs/2106.00316v1
- Date: Tue, 1 Jun 2021 08:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:25:39.642010
- Title: LenAtten: An Effective Length Controlling Unit For Text Summarization
- Title(参考訳): LenAtten: テキスト要約に有効な長さ制御ユニット
- Authors: Zhongyi Yu, Zhenghao Wu, Hao Zheng, Zhe XuanYuan, Jefferson Fong,
Weifeng Su
- Abstract要約: 固定長要約は、予め設定された単語や文字の数で要約を生成することを目的としている。
近年の研究では、繰り返し復号器への入力として、単語の埋め込みを伴う長さ情報が組み込まれている。
我々は、このトレードオフを断ち切るために、有効長制御ユニットLenAtten(LenAtten)を提案する。
- 参考スコア(独自算出の注目度): 5.554982420311913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fixed length summarization aims at generating summaries with a preset number
of words or characters. Most recent researches incorporate length information
with word embeddings as the input to the recurrent decoding unit, causing a
compromise between length controllability and summary quality. In this work, we
present an effective length controlling unit Length Attention (LenAtten) to
break this trade-off. Experimental results show that LenAtten not only brings
improvements in length controllability and ROGUE scores but also has great
generalization ability. In the task of generating a summary with the target
length, our model is 732 times better than the best-performing length
controllable summarizer in length controllability on the CNN/Daily Mail
dataset.
- Abstract(参考訳): 固定長要約は、単語や文字のプリセット数で要約を生成することを目的としている。
近年の研究では、単語埋め込みを繰り返し復号ユニットへの入力として長さ情報を取り込んでおり、長さ制御性と要約品質の妥協を引き起こしている。
本稿では,このトレードオフを解消するために,有効長制御単位長注意(lenatten)を提案する。
実験結果から,LenAttenは長さ制御性とROGUEスコアの改善をもたらすだけでなく,高い一般化能力を有することが示された。
CNN/Daily Mailデータセットにおいて,目標長の要約を生成するタスクにおいて,我々のモデルは,最大長制御可能な要約器よりも732倍よい。
関連論文リスト
- Same Task, More Tokens: the Impact of Input Length on the Reasoning
Performance of Large Language Models [54.34489188107025]
本稿では,入力長がLarge Language Models(LLMs)の能力に与える影響について検討する。
本稿では,入力長の影響を評価するための新しいQA推論フレームワークを提案する。
この結果,LLMの推理性能は技術的最大値よりもはるかに短い入力長で顕著に低下していた。
論文 参考訳(メタデータ) (2024-02-19T16:04:53Z) - LongHeads: Multi-Head Attention is Secretly a Long Context Processor [51.28378481070993]
LongHeadsは、大規模な言語モデルの長いコンテキスト能力を強化する、トレーニング不要のフレームワークである。
それぞれの頭が全文に参加できるようにする代わりに、各頭がコンテキストチャンクを選択して参加することで、分配長を処理できるようにします。
LongHeadsは線形時間で効率的に動作し、相対的な位置エンコーディングを使用する多くのLCMとシームレスに適合する。
論文 参考訳(メタデータ) (2024-02-16T13:39:34Z) - LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。
我々はSelf-Instructを使って長い命令追従データセットを構築した。
我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
論文 参考訳(メタデータ) (2024-01-31T18:29:39Z) - Effective Long-Context Scaling of Foundation Models [90.57254298730923]
最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。
我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
論文 参考訳(メタデータ) (2023-09-27T21:41:49Z) - Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。
我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。
提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
論文 参考訳(メタデータ) (2023-08-23T09:43:10Z) - Summarization with Precise Length Control [23.688834410051]
本稿では,トークン数や文数を正確に指定した要約を生成するフレームワークを提案する。
モデルを協調訓練して長さを予測するので、最適な長さの要約を生成することができる。
論文 参考訳(メタデータ) (2023-05-09T04:45:24Z) - A Focused Study on Sequence Length for Dialogue Summarization [68.73335643440957]
既存のモデルの出力とそれに対応する人間の参照の長さの差を解析する。
モデル設定を比較し,要約長予測のための有能な特徴を同定する。
第3に,要約長を十分に組み込むことができれば,既存のモデルに顕著な改善がもたらされることを示す。
論文 参考訳(メタデータ) (2022-09-24T02:49:48Z) - Reinforced Abstractive Summarization with Adaptive Length Controlling [12.793451906532223]
制御可能な要約、特に長さは、いくつかの実用的な応用において重要な問題である。
2段階の抽象的要約モデルを活用するために、textbfAdaptive textbfLength textbfControlling textbfOptimization (textbfALCO)法を提案する。
論文 参考訳(メタデータ) (2021-12-14T16:48:47Z) - Interpretable Multi-Headed Attention for Abstractive Summarization at
Controllable Lengths [14.762731718325002]
MLS(Multi-level Summarizer)は、テキスト文書の要約を制御可能な長さで構築するための教師付き手法である。
MLSはMETEORスコアで14.70%の強いベースラインを上回ります。
論文 参考訳(メタデータ) (2020-02-18T19:40:20Z) - Length-controllable Abstractive Summarization by Guiding with Summary
Prototype [27.094797760775297]
本稿では,新しい長さ制御可能な抽象要約モデルを提案する。
我々のモデルは2つのステップで要約を生成する。
CNN/Daily MailデータセットとNEWSROOMデータセットによる実験により、我々のモデルは、長さ制御された設定で過去のモデルよりも優れていた。
論文 参考訳(メタデータ) (2020-01-21T04:01:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。