論文の概要: No more hard prompts: SoftSRV prompting for synthetic data generation

• arxiv url: http://arxiv.org/abs/2410.16534v2
• Date: Wed, 23 Oct 2024 02:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 09:55:00.513213
• Title: No more hard prompts: SoftSRV prompting for synthetic data generation
• Title（参考訳）: もはやハードプロンプトはない:SoftSRVによる合成データ生成のプロンプト
• Authors: Giulia DeSalvo, Jean-Fracois Kagy, Lazaros Karydas, Afshin Rostamizadeh, Sanjiv Kumar,
• Abstract要約: 我々は、ターゲットとする合成テキストシーケンスを生成するためのソフトプロンプトベースの新しいフレームワーク、SoftSRVを提案する。 提案するフレームワークは,対象分布からサンプルを抽出し,データ駆動損失最小化を用いてパラメータ化した"コンテキスト"ソフトプロンプトを訓練する。 We found that SoftSRV improve on hard-prompting baselines, generated data with superior fine-tuning performance。
• 参考スコア（独自算出の注目度）: 35.20014396557643
• License:
• Abstract: We present a novel soft prompt based framework, SoftSRV, that leverages a frozen pre-trained large language model (LLM) to generate targeted synthetic text sequences. Given a sample from the target distribution, our proposed framework uses data-driven loss minimization to train a parameterized "contextual" soft prompt. This soft prompt is then used to steer the frozen LLM to generate synthetic sequences that are similar to the target distribution. We argue that SoftSRV provides a practical improvement over common hard-prompting approaches that rely on human-curated prompt-templates, which can be idiosyncratic, labor-intensive to craft, and may need to be specialized per domain. We empirically evaluate SoftSRV and hard-prompting baselines by generating synthetic data to fine-tune a small Gemma model on three different domains (coding, math, reasoning). To stress the generality of SoftSRV, we perform these evaluations without any particular specialization of the framework to each domain. We find that SoftSRV significantly improves upon hard-prompting baselines, generating data with superior fine-tuning performance and that better matches the target distribution according to the MAUVE similarity metric.
• Abstract（参考訳）: 我々は,凍結事前学習された大規模言語モデル(LLM)を利用して,対象とする合成テキスト列を生成するソフトプロンプトベースの新しいフレームワークであるSoftSRVを提案する。 提案するフレームワークは,対象分布からサンプルを抽出し,データ駆動損失最小化を用いてパラメータ化した"コンテキスト"ソフトプロンプトを訓練する。 このソフトプロンプトは、凍結したLDMを操り、ターゲット分布と類似した合成配列を生成する。 我々は、SoftSRVが、人為的なプロンプトテンプレートに依存している一般的なハードプロンプトアプローチよりも実践的な改善を提供すると論じる。 我々は3つの異なる領域(コーディング、数学、推論)で小さなGemmaモデルを微調整するために合成データを生成することにより、SoftSRVとハードプロンプトベースラインを実証的に評価する。 我々は,SoftSRVの汎用性を強調するために,フレームワークを各ドメインに特化することなく,これらの評価を行う。 我々は、SoftSRVがハードプロンプトベースラインを大幅に改善し、より優れた微調整性能を持つデータを生成し、MAUVE類似度測定値に従って目標分布に適合することを示す。

関連論文リスト

• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• RLS3: RL-Based Synthetic Sample Selection to Enhance Spatial Reasoning in Vision-Language Models for Indoor Autonomous Perception [20.01853641155509]
  自然言語命令に基づくアプリケーション固有の視覚的グラウンドニングのための視覚言語モデル(VLM)は、学習可能な自律システムにおいて最も一般的なアプローチの1つである。 本稿では, 強化学習(RL)エージェントと統合することにより, VLMファインチューニングを改善するための新しい一般化可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-31T04:30:42Z)
• Leveraging Metamemory Mechanisms for Enhanced Data-Free Code Generation in LLMs [44.80420740455364]
  M2WFは、大規模言語モデルのワンタイムコード生成を改善するためのフレームワークである。 従来の方法とは異なり、キュレートされたデータへの依存を最小限に抑え、さまざまなコーディングシナリオに適応する。 コードとフレームワークはGitHubとHuggingFaceで公開されている。
  論文  参考訳（メタデータ） (2025-01-14T07:16:43Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval Augmented Generation [13.120801609024147]
  検索拡張生成(RAG)は,大規模言語モデル(LLM)出力の現実性を高めることが示されている。 RAG入力は、NLIモデルのトレーニングに使用されるほとんどのデータセットよりも複雑である。 教師なしドメイン適応を実現するために自動生成ドメイン適応(Auto-GDA)を導入する。
  論文  参考訳（メタデータ） (2024-10-04T14:21:27Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Target-Aware Generative Augmentations for Single-Shot Adaptation [21.840653627684855]
  我々は、ソースドメインからターゲットドメインへのモデル適応のための新しいアプローチを提案する。 SiSTAは、単一ショットターゲットを用いてソースドメインから生成モデルを微調整し、その後、合成ターゲットデータをキュレートするための新しいサンプリング戦略を用いる。 顔検出や多クラス物体認識において,SiSTAは既存のベースラインよりも大幅に向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T17:46:26Z)
• TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series [61.436361263605114]
  時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。 本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:11:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。