論文の概要: Large Language Models Are Read/Write Policy-Makers for Simultaneous Generation

• arxiv url: http://arxiv.org/abs/2501.00868v1
• Date: Wed, 01 Jan 2025 15:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:14:51.590369
• Title: Large Language Models Are Read/Write Policy-Makers for Simultaneous Generation
• Title（参考訳）: 大規模言語モデルは同時生成のための読み書きポリシー作成者である
• Authors: Shoutao Guo, Shaolei Zhang, Zhengrui Ma, Yang Feng,
• Abstract要約: 同時生成モデルは、ストリーミング入力を読みながら結果を書き、ポリシー作成者が適切な出力タイミングを決定する必要がある。 そこで本研究では,LCMが生成タイミングを決定し,出力を同時に生成する,LSG(Lelse-driven Simultaneous Generation)フレームワークを提案する。 提案手法は,オープンソースのLCMを用いて最先端の性能を実現し,実世界のシナリオにおける実用性を示す。
• 参考スコア（独自算出の注目度）: 31.394262361690252
• License:
• Abstract: Simultaneous generation models write generation results while reading streaming inputs, necessitating a policy-maker to determine the appropriate output timing. Existing simultaneous generation methods generally adopt the traditional encoder-decoder architecture and learn the generation and policy-making capabilities through complex dynamic programming techniques. Although LLMs excel at text generation, they face challenges in taking on the role of policy-makers through traditional training methods, limiting their exploration in simultaneous generation. To overcome these limitations, we propose a novel LLM-driven Simultaneous Generation (LSG) framework, which allows the off-the-shelf LLM to decide the generation timing and produce output concurrently. Specifically, LSG selects the generation policy that minimizes latency as the baseline policy. Referring to the baseline policy, LSG enables the LLM to devise an improved generation policy that better balances latency and generation quality, and writes generation results accordingly. Experiments on simultaneous translation and streaming automatic speech recognition tasks show that our method can achieve state-of-the-art performance utilizing the open-source LLMs and demonstrate practicality in real-world scenarios.
• Abstract（参考訳）: 同時生成モデルは、ストリーミング入力を読みながら生成結果を書き、ポリシー作成者が適切な出力タイミングを決定する必要がある。 既存の同時生成手法は一般に従来のエンコーダ・デコーダアーキテクチャを採用し、複雑な動的プログラミング技術を用いて生成とポリシー作成能力を学ぶ。 LLMはテキスト生成において優れているが、従来の訓練方法を通じて政策立案者の役割を引き継ぐことの難しさに直面する。 これらの制約を克服するために,既製のLCMが生成タイミングを決定し,出力を同時に生成する,新しいLSG(LLM-driven Simultaneous Generation)フレームワークを提案する。 具体的には、LSGはベースラインポリシーとしてレイテンシを最小限にする生成ポリシーを選択する。 ベースラインポリシーを参照して、LSGはLLMがレイテンシと生成品質のバランスを改善する改良された生成ポリシーを考案し、それに従って生成結果を書くことができる。 同時翻訳と自動音声認識タスクのストリーミング実験により,我々の手法は,オープンソースのLCMを用いて最先端の性能を実現し,実世界のシナリオにおける実用性を示すことができることを示した。

関連論文リスト

• RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
  本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
  論文  参考訳（メタデータ） (2024-11-04T00:01:34Z)
• Large Language Models are Good Multi-lingual Learners : When LLMs Meet Cross-lingual Prompts [5.520335305387487]
  本稿では,MLプロンプトという新しいプロンプト戦略を提案する。 MLPromptは、LLMが他の言語に追従するのに苦労するエラーを起こしやすいルールを翻訳する。 本稿では,MLPromptを構造化データ生成の自動チェック機構に統合するフレームワークと,テキストからMIPインスタンスへの特定のケーススタディを提案する。
  論文  参考訳（メタデータ） (2024-09-17T10:33:27Z)
• DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
  制約付き復号法は,事前学習言語モデル(PLM)が生成するテキストの意味やスタイルを,推論中に特定のターゲット語を用いて制御することを目的としている。 我々は, PLM を制御するためのタスクの完了方法に関するルールをプログラムできる新しい復号化フレームワーク DECIDER を提案する。
  論文  参考訳（メタデータ） (2024-03-04T11:49:08Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Benchmarking Large Language Model Capabilities for Conditional Generation [15.437176676169997]
  既存のアプリケーション固有の生成ベンチマークをPLMに適応させる方法について論じる。 PLMは異なるデータ体系に適用可能であり、複数の言語に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-29T08:59:40Z)
• MEGA: Multilingual Evaluation of Generative AI [23.109803506475174]
  生成AIモデルは、多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。 LLMのほとんどの研究は英語に限られている。 これらのモデルが、他の言語でのテキストの理解と生成にどの程度の能力があるかは定かではない。
  論文  参考訳（メタデータ） (2023-03-22T13:03:10Z)
• Selective Token Generation for Few-shot Natural Language Generation [19.015739016376532]
  我々は、強化学習(RL)に基づく新しい追加学習アルゴリズムを開発する。 提案した選択トークン生成法は, PLM に基づく従来の付加的学習アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T00:48:52Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。