論文の概要: Synthesizing and Adapting Error Correction Data for Mobile Large Language Model Applications

• arxiv url: http://arxiv.org/abs/2505.18488v1
• Date: Sat, 24 May 2025 03:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.455867
• Title: Synthesizing and Adapting Error Correction Data for Mobile Large Language Model Applications
• Title（参考訳）: モバイル大言語モデルアプリケーションのための誤り訂正データの合成と適応
• Authors: Yanxiang Zhang, Zheng Xu, Shanshan Wu, Yuanbo Zhang, Daniel Ramage,
• Abstract要約: 大規模言語モデル(LLM)を用いて,誤り訂正ペアの高品質データセットを合成する。 次に、サンプルを再重み付けすることで、モバイルアプリケーション領域に適合するように合成データ分布を適用する。 オフライン評価と実運用実運用A/Bテストの両方において, 誤り訂正におけるモデル性能を向上させるために, 合成データを他のデータソースと混合するベストプラクティスを提案する。
• 参考スコア（独自算出の注目度）: 5.713077600587505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Error correction is an important capability when applying large language models (LLMs) to facilitate user typing on mobile devices. In this paper, we use LLMs to synthesize a high-quality dataset of error correction pairs to evaluate and improve LLMs for mobile applications. We first prompt LLMs with error correction domain knowledge to build a scalable and reliable addition to the existing data synthesis pipeline. We then adapt the synthetic data distribution to match the mobile application domain by reweighting the samples. The reweighting model is learnt by predicting (a handful of) live A/B test metrics when deploying LLMs in production, given the LLM performance on offline evaluation data and scores from a small privacy-preserving on-device language model. Finally, we present best practices for mixing our synthetic data with other data sources to improve model performance on error correction in both offline evaluation and production live A/B testing.
• Abstract（参考訳）: 誤り訂正は、モバイルデバイスでのユーザタイピングを容易にするために、大きな言語モデル(LLM)を適用する上で重要な機能である。 本稿では,LLMを用いて高品質な誤り訂正ペアのデータセットを合成し,モバイルアプリケーションにおけるLLMの評価と改善を行う。 まず、誤り訂正領域の知識をLCMに促して、既存のデータ合成パイプラインにスケーラブルで信頼性の高い追加を構築する。 次に、サンプルを再重み付けすることで、モバイルアプリケーション領域に適合するように合成データ分布を適用する。 オフライン評価データ上でのLLMのパフォーマンスと、小さなプライバシ保護オンデバイス言語モデルからのスコアを考慮すれば、本番環境にLLMをデプロイする際の(少数の)ライブA/Bテストメトリクスを予測することで、リウェイトモデルが学習される。 最後に, オフライン評価と実運用A/Bテストの両方において, 誤り訂正におけるモデル性能を向上させるために, 合成データを他のデータソースと混合するベストプラクティスを提案する。

関連論文リスト

• Augmenting Human-Annotated Training Data with Large Language Model Generation and Distillation in Open-Response Assessment [4.788487793976781]
  大規模言語モデル(LLM)は、テキスト分類タスクを低コストで自動化するのに役立つ。 対照的に、人間のコーディングは一般的により信頼性が高いが、大規模な調達には高価である。 両者の強みを生かしたハイブリッドソリューションを提案する。
  論文  参考訳（メタデータ） (2025-01-15T20:13:46Z)
• Learning to Verify Summary Facts with Fine-Grained LLM Feedback [15.007479147796403]
  自動要約事実検証の訓練は、人間がラベル付けしたデータの不足という課題に直面していることが多い。 本研究では,要約に関する詳細な事実フィードバックを含む大規模データセットであるFineSumFactを紹介する。
  論文  参考訳（メタデータ） (2024-12-14T05:28:44Z)
• Strategies for Improving NL-to-FOL Translation with LLMs: Data Generation, Incremental Fine-Tuning, and Verification [9.36179617282876]
  GPT-4o を用いて ProofWriter データセットの高品質な FOL アノテーション付きサブセットを作成する。 本稿では,LLaMA-2およびMistralモデル上でProofFOLを用いたProofWriterおよびProntoQAデータセットの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-09-24T21:24:07Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。