論文の概要: Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models
- arxiv url: http://arxiv.org/abs/2409.18943v2
- Date: Tue, 1 Oct 2024 09:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 05:22:52.958109
- Title: Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models
- Title（参考訳）: Ruler: 大規模言語モデルに対する生成長制御のためのモデル非依存手法
- Authors: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, yuelin bai, Run Luo, Longze Chen, Min Yang,
- Abstract要約: 大きな言語モデルは、しばしば特定の長さの応答を生成するのに苦労する。
本稿では,長さ制約のある命令下での大規模言語モデルの命令追従能力を高めるために,ルールと呼ばれる新しいモデルに依存しない手法を提案する。
- 参考スコア（独自算出の注目度）: 14.175953642749649
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The instruction-following ability of large language models enables humans to interact with AI agents in a natural way. However, when required to generate responses of a specific length, large language models often struggle to meet users' needs due to their inherent difficulty in accurately perceiving numerical constraints. To explore the ability of large language models to control the length of generated responses, we propose the Target Length Generation Task (TLG) and design two metrics, Precise Match (PM) and Flexible Match (FM) to evaluate the model's performance in adhering to specified response lengths. Furthermore, we introduce a novel, model-agnostic approach called Ruler, which employs Meta Length Tokens (MLTs) to enhance the instruction-following ability of large language models under length-constrained instructions. Specifically, Ruler equips LLMs with the ability to generate responses of a specified length based on length constraints within the instructions. Moreover, Ruler can automatically generate appropriate MLT when length constraints are not explicitly provided, demonstrating excellent versatility and generalization. Comprehensive experiments show the effectiveness of Ruler across different LLMs on Target Length Generation Task, e.g., at All Level 27.97 average gain on PM, 29.57 average gain on FM. In addition, we conduct extensive ablation experiments to further substantiate the efficacy and generalization of Ruler. Our code and data is available at https://github.com/Geaming2002/Ruler.
- Abstract（参考訳）: 大きな言語モデルの指示追従能力は、人間が自然な方法でAIエージェントと対話することを可能にする。
しかしながら、特定の長さの応答を生成する必要がある場合、大きな言語モデルは、数値的な制約を正確に知覚するのに固有の困難さのために、ユーザのニーズを満たすのに苦労することが多い。
生成した応答長を制御するための大規模言語モデルの能力を探るため,ターゲット長生成タスク (TLG) を提案し,そのモデルの性能を評価するために,精密マッチング (PM) とフレキシブルマッチング (FM) という2つのメトリクスを設計する。
さらに,メタ長Tokens (MLTs) を用いて,長さ制約された命令下での大規模言語モデルの命令追従能力を向上させる,ルールと呼ばれる新しいモデルに依存しない手法を提案する。
具体的には、ルールは、命令内の長さ制約に基づいて、指定された長さの応答を生成する能力をLLMに装備する。
さらに、ルールは、長さ制約が明示的に提供されていない場合に自動的に適切なMLTを生成し、優れた汎用性と一般化を示す。
総合的な実験により、ターゲット長生成タスクにおける異なるLLM間のルールの有効性が、PMにおける全レベル27.97平均利得、FMにおける29.57平均利得で示されている。
さらに,ルールの有効性と一般化をさらに実証するために,広範囲なアブレーション実験を実施している。
私たちのコードとデータはhttps://github.com/Geaming2002/Ruler.orgで公開されています。
関連論文リスト
- Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
本稿では,応答条件付きBradley-Terryモデルを提案する。
また、大規模言語モデルの直接ポリシー最適化(DPO)にRc-BTモデルを利用するRc-DPOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-02T14:50:25Z) - Length Controlled Generation for Black-box LLMs [70.57649832433451]
大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。
本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。
このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
論文 参考訳（メタデータ） (2024-12-19T09:07:38Z) - Precise Length Control in Large Language Models [1.3654846342364308]
大規模言語モデル(LLM)は、プロダクションシステムでますます使われている。
本稿では,事前学習したデコーダのみのLCMを応答長の正確な制御に適応させる手法を提案する。
論文 参考訳（メタデータ） (2024-12-16T16:22:27Z) - Language Models can Self-Lengthen to Generate Long Texts [74.96074422345806]
本稿では,Self-Lengthenというイノベーティブな反復学習フレームワークを紹介する。
補助的なデータやプロプライエタリなモデルを必要としない、大規模言語モデルの本質的な知識とスキルのみを活用する。
ベンチマークと人的評価の実験により、Self-Lengthenは長文生成において既存の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-10-31T13:47:10Z) - LongGenBench: Benchmarking Long-Form Generation in Long Context LLMs [4.4965596747053]
LongGenBenchは、大規模言語モデルの長文生成能力を厳格に評価するために設計された、新しいベンチマークである。
4つの異なるシナリオ、3つの命令タイプ、2つの世代長(16Kおよび32Kトークン)でモデル性能を評価する。
この結果から,LongGenBench上での長文生成に苦戦するモデルが多数存在することが明らかとなった。
論文 参考訳（メタデータ） (2024-09-03T17:25:54Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models [27.26285945442178]
InstructCMPは文圧縮タスクへのアプローチであり、命令によって長さ制約を考慮できる。
長さプライミングを適用することで、ゼロショット設定と微調整設定の両方において、インストラクトCMPの性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2024-06-16T23:00:47Z) - Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。
我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。
提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
論文 参考訳（メタデータ） (2023-08-23T09:43:10Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-02-15T18:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。