論文の概要: Precise Length Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.11937v1
• Date: Mon, 16 Dec 2024 16:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:23.521166
• Title: Precise Length Control in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける高精度長制御
• Authors: Bradley Butcher, Michael O'Keefe, James Titchener,
• Abstract要約: 大規模言語モデル(LLM)は、プロダクションシステムでますます使われている。 本稿では,事前学習したデコーダのみのLCMを応答長の正確な制御に適応させる手法を提案する。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License:
• Abstract: Large Language Models (LLMs) are increasingly used in production systems, powering applications such as chatbots, summarization, and question answering. Despite their success, controlling the length of their response remains a significant challenge, particularly for tasks requiring structured outputs or specific levels of detail. In this work, we propose a method to adapt pre-trained decoder-only LLMs for precise control of response length. Our approach incorporates a secondary length-difference positional encoding (LDPE) into the input embeddings, which counts down to a user-set response termination length. Fine-tuning with LDPE allows the model to learn to terminate responses coherently at the desired length, achieving mean token errors of less than 3 tokens. We also introduce Max New Tokens++, an extension that enables flexible upper-bound length control, rather than an exact target. Experimental results on tasks such as question answering and document summarization demonstrate that our method enables precise length control without compromising response quality.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、チャットボット、要約、質問応答などのアプリケーションを動かす本番システムで、ますます使われている。 彼らの成功にもかかわらず、特に構造化されたアウトプットや特定の詳細レベルを必要とするタスクに対して、そのレスポンスの長さを制御することは大きな課題である。 本研究では,事前学習したデコーダのみのLLMを適応させ,応答長を正確に制御する手法を提案する。 提案手法では,入力埋め込みにLDPE(Second length-difference positional encoding)を組み込み,ユーザセットの応答終端長をカウントする。 LDPEによる微調整により、3トークン未満の平均トークンエラーを達成し、所望の長さで一貫性のある応答を終了することを学ぶことができる。 また、Max New Tokens++も導入しています。これは、正確なターゲットではなく、柔軟な上限長制御を可能にする拡張です。 質問応答や文書要約などのタスクに対する実験結果から,提案手法は応答品質を損なうことなく,正確な長さ制御を可能にすることが示された。

関連論文リスト

• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• PositionID: LLMs can Control Lengths, Copy and Paste with Explicit Positional Awareness [41.87219806677628]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な機能を示している。 これらの進歩にもかかわらず、LLMは長さ制御の課題に直面している。 そこで本研究では,この課題に対処するための新しいアプローチとして,PhysorID PromptingとPhysorID Fine-Tuningを提案する。
  論文  参考訳（メタデータ） (2024-10-09T16:15:36Z)
• Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models [14.175953642749649]
  大きな言語モデルは、しばしば特定の長さの応答を生成するのに苦労する。 本稿では,長さ制約のある命令下での大規模言語モデルの命令追従能力を高めるために,ルールと呼ばれる新しいモデルに依存しない手法を提案する。
  論文  参考訳（メタデータ） (2024-09-27T17:44:58Z)
• InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models [27.26285945442178]
  InstructCMPは文圧縮タスクへのアプローチであり、命令によって長さ制約を考慮できる。 長さプライミングを適用することで、ゼロショット設定と微調整設定の両方において、インストラクトCMPの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-16T23:00:47Z)
• SirLLM: Streaming Infinite Retentive LLM [74.40196814292426]
  大きな言語モデル(LLM)は任意の長さの入力を処理し、メモリの程度を維持する。 近年の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力が採用されている。 本稿では,SirLLM(Streaming Infinite Retentive LLM)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:37:03Z)
• LongHeads: Multi-Head Attention is Secretly a Long Context Processor [49.1661870007655]
  LongHeadsは、大規模な言語モデルの長いコンテキスト能力を強化する、トレーニング不要のフレームワークである。 それぞれの頭が全文に参加できるようにする代わりに、各頭がコンテキストチャンクを選択して参加することで、分配長を処理できるようにします。 LongHeadsは、パスキー検索タスクにおいて、128kの長さで100%精度を達成する。
  論文  参考訳（メタデータ） (2024-02-16T13:39:34Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents [78.27865456183397]
  長い文書に対する推論を改善するためのフレームワークであるPEARLを提案する。 PEARLの各ステージは、最小限の人間の入力でゼロショットまたは少数ショットのプロンプトによって実装される。 PEARLをQuALITYデータセットの挑戦的なサブセットで評価し、長い物語テキストに対して複雑な推論を必要とする質問を含む。
  論文  参考訳（メタデータ） (2023-05-23T23:06:04Z)
• LenAtten: An Effective Length Controlling Unit For Text Summarization [5.554982420311913]
  固定長要約は、予め設定された単語や文字の数で要約を生成することを目的としている。 近年の研究では、繰り返し復号器への入力として、単語の埋め込みを伴う長さ情報が組み込まれている。 我々は、このトレードオフを断ち切るために、有効長制御ユニットLenAtten(LenAtten)を提案する。
  論文  参考訳（メタデータ） (2021-06-01T08:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。