論文の概要: A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers

• arxiv url: http://arxiv.org/abs/2502.04535v1
• Date: Thu, 06 Feb 2025 22:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:01.337054
• Title: A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers
• Title（参考訳）: 直進非巡回変圧器を用いた長絡要約の復号アルゴリズム
• Authors: Chenyang Huang, Hao Zhou, Cameron Jen, Kangjie Zheng, Osmar R. Zaïane, Lili Mou,
• Abstract要約: 長さ制御の要約は、長さ制限の範囲内で長いテキストを短いテキストに凝縮することを目的としている。 従来のアプローチでは、しばしば自己回帰(AR)モデルを使用し、長さ要件をソフト制約として扱う。 提案手法は,複数の可塑性配列フラグメントを許容し,それらを接続するエンフパスを予測する。
• 参考スコア（独自算出の注目度）: 32.53051395472311
• License:
• Abstract: Length-control summarization aims to condense long texts into a short one within a certain length limit. Previous approaches often use autoregressive (AR) models and treat the length requirement as a soft constraint, which may not always be satisfied. In this study, we propose a novel length-control decoding algorithm based on the Directed Acyclic Transformer (DAT). Our approach allows for multiple plausible sequence fragments and predicts a \emph{path} to connect them. In addition, we propose a Sequence Maximum a Posteriori (SeqMAP) decoding algorithm that marginalizes different possible paths and finds the most probable summary satisfying the length budget. Our algorithm is based on beam search, which further facilitates a reranker for performance improvement. Experimental results on the Gigaword and DUC2004 datasets demonstrate our state-of-the-art performance for length-control summarization.
• Abstract（参考訳）: 長さ制御の要約は、長さ制限の範囲内で長いテキストを短いテキストに凝縮することを目的としている。 従来のアプローチでは、しばしば自己回帰(AR)モデルを使用し、長さ要件をソフトな制約として扱うが、必ずしも満足するとは限らない。 本研究では,DAT(Directed Acyclic Transformer)に基づく新しい長さ制御復号法を提案する。 我々のアプローチでは、複数の可塑性配列のフラグメントを許容し、それらを接続するために \emph{path} を予測できる。 さらに,異なる経路を疎外し,長さ予算を満足する最も確率の高いサマリを求める,SeqMAP復号アルゴリズムを提案する。 我々のアルゴリズムはビームサーチに基づいており、さらに性能改善のための再ランカを容易にする。 Gigaword と DUC2004 データセットによる実験結果から,長さ制御の要約のための最先端性能が示された。

関連論文リスト

• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• Universality and Limitations of Prompt Tuning [65.8354898840308]
  トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。 連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。 この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
  論文  参考訳（メタデータ） (2023-05-30T06:47:07Z)
• Summarization with Precise Length Control [23.688834410051]
  本稿では,トークン数や文数を正確に指定した要約を生成するフレームワークを提案する。 モデルを協調訓練して長さを予測するので、最適な長さの要約を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T04:45:24Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• A Character-Level Length-Control Algorithm for Non-Autoregressive Sentence Summarization [23.495225374478295]
  文要約は、長い文を主幹を保ちながら短い文に圧縮することを目的としており、見出し生成のような広範囲の現実世界の応用がある。 本研究では,要約のための文字レベル長制御の新しい問題に対処し,コネクショニスト時間分類(CTC)モデルに基づく動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-28T21:09:53Z)
• LenAtten: An Effective Length Controlling Unit For Text Summarization [5.554982420311913]
  固定長要約は、予め設定された単語や文字の数で要約を生成することを目的としている。 近年の研究では、繰り返し復号器への入力として、単語の埋め込みを伴う長さ情報が組み込まれている。 我々は、このトレードオフを断ち切るために、有効長制御ユニットLenAtten(LenAtten)を提案する。
  論文  参考訳（メタデータ） (2021-06-01T08:45:41Z)
• Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
  我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。 我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。 提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
  論文  参考訳（メタデータ） (2020-10-14T12:28:08Z)
• Conformer-Kernel with Query Term Independence for Document Retrieval [32.36908635150144]
  Transformer- Kernel (TK) モデルは、TREC Deep Learningベンチマークで強力な再ランク性能を示している。 我々は、クエリ項独立仮定を組み込むことで、TKアーキテクチャを完全な検索設定に拡張する。 コンフォーマーのGPUメモリ要件は入力シーケンス長と線形にスケールすることを示し、長いドキュメントのランク付けにおいてより有効な選択肢であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:47:28Z)
• SEAL: Segment-wise Extractive-Abstractive Long-form Text Summarization [39.85688193525843]
  入力シーケンス長を最大10万トークン,出力シーケンス長を最大768トークンとするシーケンス・ツー・シーケンスについて検討した。 入力スニペットを動的に抽出・選択し,各出力セグメントに疎通する,新しいエンコーダ・デコーダを特徴とするトランスフォーマーベースモデルSEALを提案する。 SEALモデルは、既存の長文要約タスクの最先端結果を実現し、私たちが導入した新しいデータセット/タスクであるSearch2Wikiにおいて、はるかに長い入力テキストで強力なベースラインモデルより優れている。
  論文  参考訳（メタデータ） (2020-06-18T00:13:21Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。