論文の概要: LenAtten: An Effective Length Controlling Unit For Text Summarization

• arxiv url: http://arxiv.org/abs/2106.00316v1
• Date: Tue, 1 Jun 2021 08:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:25:39.642010
• Title: LenAtten: An Effective Length Controlling Unit For Text Summarization
• Title（参考訳）: LenAtten: テキスト要約に有効な長さ制御ユニット
• Authors: Zhongyi Yu, Zhenghao Wu, Hao Zheng, Zhe XuanYuan, Jefferson Fong, Weifeng Su
• Abstract要約: 固定長要約は、予め設定された単語や文字の数で要約を生成することを目的としている。 近年の研究では、繰り返し復号器への入力として、単語の埋め込みを伴う長さ情報が組み込まれている。 我々は、このトレードオフを断ち切るために、有効長制御ユニットLenAtten(LenAtten)を提案する。
• 参考スコア（独自算出の注目度）: 5.554982420311913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fixed length summarization aims at generating summaries with a preset number of words or characters. Most recent researches incorporate length information with word embeddings as the input to the recurrent decoding unit, causing a compromise between length controllability and summary quality. In this work, we present an effective length controlling unit Length Attention (LenAtten) to break this trade-off. Experimental results show that LenAtten not only brings improvements in length controllability and ROGUE scores but also has great generalization ability. In the task of generating a summary with the target length, our model is 732 times better than the best-performing length controllable summarizer in length controllability on the CNN/Daily Mail dataset.
• Abstract（参考訳）: 固定長要約は、単語や文字のプリセット数で要約を生成することを目的としている。 近年の研究では、単語埋め込みを繰り返し復号ユニットへの入力として長さ情報を取り込んでおり、長さ制御性と要約品質の妥協を引き起こしている。 本稿では,このトレードオフを解消するために,有効長制御単位長注意(lenatten)を提案する。 実験結果から,LenAttenは長さ制御性とROGUEスコアの改善をもたらすだけでなく,高い一般化能力を有することが示された。 CNN/Daily Mailデータセットにおいて,目標長の要約を生成するタスクにおいて,我々のモデルは,最大長制御可能な要約器よりも732倍よい。

関連論文リスト

• Concise Thoughts: Impact of Output Length on LLM Reasoning and Cost [4.299153274884264]
  本稿では,出力長が大規模言語モデル(LLM)推論パイプラインに与える影響を解析する。 テキストの正確さの観点から評価するための新しい指標を提案する。 また、改良されたプロンプトエンジニアリング戦略であるConstrained-CoTによる出力長制御の影響についても検討した。
  論文  参考訳（メタデータ） (2024-07-29T09:21:52Z)
• Improving Citation Text Generation: Overcoming Limitations in Length Control [10.555859097367286]
  引用テキスト生成の鍵となる課題は、生成されたテキストの長さがターゲットの長さとしばしば異なり、生成の質が低下することである。 本研究では,科学的引用文の長さ予測の限界について詳細な研究を行い,所望の長さの推定値の利用について検討する。
  論文  参考訳（メタデータ） (2024-07-20T22:10:37Z)
• SirLLM: Streaming Infinite Retentive LLM [74.40196814292426]
  大きな言語モデル(LLM)は任意の長さの入力を処理し、メモリの程度を維持する。 近年の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力が採用されている。 本稿では,SirLLM(Streaming Infinite Retentive LLM)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:37:03Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• Summarization with Precise Length Control [23.688834410051]
  本稿では,トークン数や文数を正確に指定した要約を生成するフレームワークを提案する。 モデルを協調訓練して長さを予測するので、最適な長さの要約を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T04:45:24Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)
• A Focused Study on Sequence Length for Dialogue Summarization [68.73335643440957]
  既存のモデルの出力とそれに対応する人間の参照の長さの差を解析する。 モデル設定を比較し,要約長予測のための有能な特徴を同定する。 第3に,要約長を十分に組み込むことができれば,既存のモデルに顕著な改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-09-24T02:49:48Z)
• Reinforced Abstractive Summarization with Adaptive Length Controlling [12.793451906532223]
  制御可能な要約、特に長さは、いくつかの実用的な応用において重要な問題である。 2段階の抽象的要約モデルを活用するために、textbfAdaptive textbfLength textbfControlling textbfOptimization (textbfALCO)法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T16:48:47Z)
• Length-controllable Abstractive Summarization by Guiding with Summary Prototype [27.094797760775297]
  本稿では,新しい長さ制御可能な抽象要約モデルを提案する。 我々のモデルは2つのステップで要約を生成する。 CNN/Daily MailデータセットとNEWSROOMデータセットによる実験により、我々のモデルは、長さ制御された設定で過去のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-01-21T04:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。