論文の概要: Precise Length Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.11937v1
• Date: Mon, 16 Dec 2024 16:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:23.521166
• Title: Precise Length Control in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける高精度長制御
• Authors: Bradley Butcher, Michael O'Keefe, James Titchener,
• Abstract要約: 大規模言語モデル(LLM)は、プロダクションシステムでますます使われている。 本稿では,事前学習したデコーダのみのLCMを応答長の正確な制御に適応させる手法を提案する。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License:
• Abstract: Large Language Models (LLMs) are increasingly used in production systems, powering applications such as chatbots, summarization, and question answering. Despite their success, controlling the length of their response remains a significant challenge, particularly for tasks requiring structured outputs or specific levels of detail. In this work, we propose a method to adapt pre-trained decoder-only LLMs for precise control of response length. Our approach incorporates a secondary length-difference positional encoding (LDPE) into the input embeddings, which counts down to a user-set response termination length. Fine-tuning with LDPE allows the model to learn to terminate responses coherently at the desired length, achieving mean token errors of less than 3 tokens. We also introduce Max New Tokens++, an extension that enables flexible upper-bound length control, rather than an exact target. Experimental results on tasks such as question answering and document summarization demonstrate that our method enables precise length control without compromising response quality.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、チャットボット、要約、質問応答などのアプリケーションを動かす本番システムで、ますます使われている。 彼らの成功にもかかわらず、特に構造化されたアウトプットや特定の詳細レベルを必要とするタスクに対して、そのレスポンスの長さを制御することは大きな課題である。 本研究では,事前学習したデコーダのみのLLMを適応させ,応答長を正確に制御する手法を提案する。 提案手法では,入力埋め込みにLDPE(Second length-difference positional encoding)を組み込み,ユーザセットの応答終端長をカウントする。 LDPEによる微調整により、3トークン未満の平均トークンエラーを達成し、所望の長さで一貫性のある応答を終了することを学ぶことができる。 また、Max New Tokens++も導入しています。これは、正確なターゲットではなく、柔軟な上限長制御を可能にする拡張です。 質問応答や文書要約などのタスクに対する実験結果から,提案手法は応答品質を損なうことなく,正確な長さ制御を可能にすることが示された。

関連論文リスト

• Zero-Shot Strategies for Length-Controllable Summarization [56.15356055672189]
  大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-12-31T02:53:27Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• PositionID: LLMs can Control Lengths, Copy and Paste with Explicit Positional Awareness [41.87219806677628]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な機能を示している。 これらの進歩にもかかわらず、LLMは長さ制御の課題に直面している。 そこで本研究では,この課題に対処するための新しいアプローチとして,PhysorID PromptingとPhysorID Fine-Tuningを提案する。
  論文  参考訳（メタデータ） (2024-10-09T16:15:36Z)
• Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models [14.175953642749649]
  大きな言語モデルは、しばしば特定の長さの応答を生成するのに苦労する。 本稿では,長さ制約のある命令下での大規模言語モデルの命令追従能力を高めるために,ルールと呼ばれる新しいモデルに依存しない手法を提案する。
  論文  参考訳（メタデータ） (2024-09-27T17:44:58Z)
• SirLLM: Streaming Infinite Retentive LLM [74.40196814292426]
  大きな言語モデル(LLM)は任意の長さの入力を処理し、メモリの程度を維持する。 近年の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力が採用されている。 本稿では,SirLLM(Streaming Infinite Retentive LLM)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:37:03Z)
• LongHeads: Multi-Head Attention is Secretly a Long Context Processor [49.1661870007655]
  LongHeadsは、大規模な言語モデルの長いコンテキスト能力を強化する、トレーニング不要のフレームワークである。 それぞれの頭が全文に参加できるようにする代わりに、各頭がコンテキストチャンクを選択して参加することで、分配長を処理できるようにします。 LongHeadsは、パスキー検索タスクにおいて、128kの長さで100%精度を達成する。
  論文  参考訳（メタデータ） (2024-02-16T13:39:34Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents [78.27865456183397]
  長い文書に対する推論を改善するためのフレームワークであるPEARLを提案する。 PEARLの各ステージは、最小限の人間の入力でゼロショットまたは少数ショットのプロンプトによって実装される。 PEARLをQuALITYデータセットの挑戦的なサブセットで評価し、長い物語テキストに対して複雑な推論を必要とする質問を含む。
  論文  参考訳（メタデータ） (2023-05-23T23:06:04Z)
• LenAtten: An Effective Length Controlling Unit For Text Summarization [5.554982420311913]
  固定長要約は、予め設定された単語や文字の数で要約を生成することを目的としている。 近年の研究では、繰り返し復号器への入力として、単語の埋め込みを伴う長さ情報が組み込まれている。 我々は、このトレードオフを断ち切るために、有効長制御ユニットLenAtten(LenAtten)を提案する。
  論文  参考訳（メタデータ） (2021-06-01T08:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。