論文の概要: LenAtten: An Effective Length Controlling Unit For Text Summarization

• arxiv url: http://arxiv.org/abs/2106.00316v1
• Date: Tue, 1 Jun 2021 08:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:25:39.642010
• Title: LenAtten: An Effective Length Controlling Unit For Text Summarization
• Title（参考訳）: LenAtten: テキスト要約に有効な長さ制御ユニット
• Authors: Zhongyi Yu, Zhenghao Wu, Hao Zheng, Zhe XuanYuan, Jefferson Fong, Weifeng Su
• Abstract要約: 固定長要約は、予め設定された単語や文字の数で要約を生成することを目的としている。 近年の研究では、繰り返し復号器への入力として、単語の埋め込みを伴う長さ情報が組み込まれている。 我々は、このトレードオフを断ち切るために、有効長制御ユニットLenAtten(LenAtten)を提案する。
• 参考スコア（独自算出の注目度）: 5.554982420311913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fixed length summarization aims at generating summaries with a preset number of words or characters. Most recent researches incorporate length information with word embeddings as the input to the recurrent decoding unit, causing a compromise between length controllability and summary quality. In this work, we present an effective length controlling unit Length Attention (LenAtten) to break this trade-off. Experimental results show that LenAtten not only brings improvements in length controllability and ROGUE scores but also has great generalization ability. In the task of generating a summary with the target length, our model is 732 times better than the best-performing length controllable summarizer in length controllability on the CNN/Daily Mail dataset.
• Abstract（参考訳）: 固定長要約は、単語や文字のプリセット数で要約を生成することを目的としている。 近年の研究では、単語埋め込みを繰り返し復号ユニットへの入力として長さ情報を取り込んでおり、長さ制御性と要約品質の妥協を引き起こしている。 本稿では,このトレードオフを解消するために,有効長制御単位長注意(lenatten)を提案する。 実験結果から,LenAttenは長さ制御性とROGUEスコアの改善をもたらすだけでなく,高い一般化能力を有することが示された。 CNN/Daily Mailデータセットにおいて,目標長の要約を生成するタスクにおいて,我々のモデルは,最大長制御可能な要約器よりも732倍よい。

関連論文リスト

• LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation [79.90766312484489]
  回復蒸留(LongReD)による長期事前トレーニング LongReDは、選択されたレイヤの隠れた状態をオリジナルのモデルから短いテキストで蒸留する。 一般的なテキストベンチマークの実験では、LongReDはモデルの短文性能を効果的に維持することを示した。
  論文  参考訳（メタデータ） (2025-02-11T08:37:16Z)
• A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers [32.53051395472311]
  長さ制御の要約は、長さ制限の範囲内で長いテキストを短いテキストに凝縮することを目的としている。 従来のアプローチでは、しばしば自己回帰(AR)モデルを使用し、長さ要件をソフト制約として扱う。 提案手法は,複数の可塑性配列フラグメントを許容し,それらを接続するエンフパスを予測する。
  論文  参考訳（メタデータ） (2025-02-06T22:12:55Z)
• Zero-Shot Strategies for Length-Controllable Summarization [56.15356055672189]
  大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-12-31T02:53:27Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• Precise Length Control in Large Language Models [1.3654846342364308]
  大規模言語モデル(LLM)は、プロダクションシステムでますます使われている。 本稿では,事前学習したデコーダのみのLCMを応答長の正確な制御に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-16T16:22:27Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• Summarization with Precise Length Control [23.688834410051]
  本稿では,トークン数や文数を正確に指定した要約を生成するフレームワークを提案する。 モデルを協調訓練して長さを予測するので、最適な長さの要約を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T04:45:24Z)
• Reinforced Abstractive Summarization with Adaptive Length Controlling [12.793451906532223]
  制御可能な要約、特に長さは、いくつかの実用的な応用において重要な問題である。 2段階の抽象的要約モデルを活用するために、textbfAdaptive textbfLength textbfControlling textbfOptimization (textbfALCO)法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T16:48:47Z)
• Length-controllable Abstractive Summarization by Guiding with Summary Prototype [27.094797760775297]
  本稿では,新しい長さ制御可能な抽象要約モデルを提案する。 我々のモデルは2つのステップで要約を生成する。 CNN/Daily MailデータセットとNEWSROOMデータセットによる実験により、我々のモデルは、長さ制御された設定で過去のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-01-21T04:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。