Fugu-MT 論文翻訳(概要): InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models

論文の概要: InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models

arxiv url: http://arxiv.org/abs/2406.11097v2
Date: Tue, 18 Jun 2024 18:35:52 GMT
ステータス: 処理完了
システム内更新日: 2024-06-22 01:07:15.356313
Title: InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Title（参考訳）: インストラクションCMP:インストラクションに基づく大規模言語モデルによる文圧縮における長さ制御
Authors: Juseon-Do, Jingun Kwon, Hidetaka Kamigaito, Manabu Okumura,
Abstract要約: InstructCMPは文圧縮タスクへのアプローチであり、命令によって長さ制約を考慮できる。長さプライミングを適用することで、ゼロショット設定と微調整設定の両方において、インストラクトCMPの性能が大幅に向上することを示す。
参考スコア（独自算出の注目度）: 27.26285945442178
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Extractive summarization can produce faithful summaries but often requires additional constraints such as a desired summary length. Traditional sentence compression models do not typically consider the constraints because of their restricted model abilities, which require model modifications for coping with them. To bridge this gap, we propose Instruction-based Compression (InstructCMP), an approach to the sentence compression task that can consider the length constraint through instructions by leveraging the zero-shot task-solving abilities of Large Language Models (LLMs). For this purpose, we created new evaluation datasets by transforming traditional sentence compression datasets into an instruction format. By using the datasets, we first reveal that the current LLMs still face challenges in accurately controlling the length for a compressed text. To address this issue, we propose an approach named "length priming," that incorporates additional length information into the instructions without external resources. While the length priming effectively works in a zero-shot setting, a training dataset with the instructions would further improve the ability of length control. Thus, we additionally created a training dataset in an instruction format to fine-tune the model on it. Experimental results and analysis show that applying the length priming significantly improves performances of InstructCMP in both zero-shot and fine-tuning settings without the need of any model modifications.
Abstract（参考訳）: 抽出的要約は忠実な要約を生成することができるが、しばしば所望の要約長さのような追加の制約を必要とする。従来の文圧縮モデルは、制限されたモデル能力のために制約を考慮せず、それに対処するためにモデル修正を必要とする。このギャップを埋めるために,大規模言語モデル(LLM)のゼロショットタスク解決能力を活用することで,命令による長さ制約を考慮可能な文圧縮タスクへのアプローチである命令ベース圧縮(Instruction-based Compression, Instruction-based Compression, InstructCMP)を提案する。そこで我々は,従来の文圧縮データセットを命令形式に変換することによって,新しい評価データセットを作成した。データセットを用いて、圧縮されたテキストの長さを正確に制御する上で、現在のLLMが依然として課題に直面していることを最初に明らかにする。この問題に対処するために、外部リソースを使わずに命令に付加的な長さ情報を組み込む「長さプライミング」という手法を提案する。長さプライミングはゼロショット設定で効果的に機能するが、命令によるトレーニングデータセットにより、長さ制御の能力はさらに向上する。これにより、トレーニングデータセットを命令形式で作成し、その上でモデルを微調整する。実験結果と解析結果から, モデル修正を必要とせず, ゼロショットと微調整の両方でインストラクトCMPの性能を著しく向上させることがわかった。

関連論文リスト

Language Models can Self-Lengthen to Generate Long Texts [74.96074422345806]
本稿では,Self-Lengthenというイノベーティブな反復学習フレームワークを紹介する。補助的なデータやプロプライエタリなモデルを必要としない、大規模言語モデルの本質的な知識とスキルのみを活用する。ベンチマークと人的評価の実験により、Self-Lengthenは長文生成において既存の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2024-10-31T13:47:10Z)
Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models [14.175953642749649]
大きな言語モデルは、しばしば特定の長さの応答を生成するのに苦労する。本稿では,長さ制約のある命令下での大規模言語モデルの命令追従能力を高めるために,ルールと呼ばれる新しいモデルに依存しない手法を提案する。
論文参考訳（メタデータ） (2024-09-27T17:44:58Z)
Dataset Decomposition: Faster LLM Training with Variable Sequence Length Curriculum [30.46329559544246]
本稿では,新しい可変シーケンス長トレーニング手法であるデータセット分解を導入する。ベースラインアプローチでトレーニングした2kコンテキスト長モデルと同じコストで,8kコンテキスト長1Bモデルをトレーニングする。ウェブスケールコーパスの実験により,我々の手法は標準言語評価や長文ベンチマークの性能を大幅に向上させることが示された。
論文参考訳（メタデータ） (2024-05-21T22:26:01Z)
LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。我々はSelf-Instructを使って長い命令追従データセットを構築した。我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
論文参考訳（メタデータ） (2024-01-31T18:29:39Z)
Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文参考訳（メタデータ） (2023-08-23T12:36:57Z)
Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
論文参考訳（メタデータ） (2023-08-23T09:43:10Z)
Adapting Language Models to Compress Contexts [71.98287002918941]
トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
論文参考訳（メタデータ） (2023-05-24T06:42:44Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)
Reinforced Abstractive Summarization with Adaptive Length Controlling [12.793451906532223]
制御可能な要約、特に長さは、いくつかの実用的な応用において重要な問題である。 2段階の抽象的要約モデルを活用するために、textbfAdaptive textbfLength textbfControlling textbfOptimization (textbfALCO)法を提案する。
論文参考訳（メタデータ） (2021-12-14T16:48:47Z)
Length-controllable Abstractive Summarization by Guiding with Summary Prototype [27.094797760775297]
本稿では,新しい長さ制御可能な抽象要約モデルを提案する。我々のモデルは2つのステップで要約を生成する。 CNN/Daily MailデータセットとNEWSROOMデータセットによる実験により、我々のモデルは、長さ制御された設定で過去のモデルよりも優れていた。
論文参考訳（メタデータ） (2020-01-21T04:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。