論文の概要: Truthful Online Preference Aggregation for LLM Fine-Tuning in Mobile Crowdsourcing

• arxiv url: http://arxiv.org/abs/2605.24052v1
• Date: Fri, 22 May 2026 00:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.561284
• Title: Truthful Online Preference Aggregation for LLM Fine-Tuning in Mobile Crowdsourcing
• Title（参考訳）: モバイルクラウドソーシングにおけるLLMファインチューニングのための真正なオンライン選好集約
• Authors: Shugang Hao, Lingjie Duan,
• Abstract要約: モバイルクラウドソーシングプラットフォームは、大規模な言語モデル(LLM)生成コンテンツと、クラウドソーシングワーカー(モバイルユーザなど)から収集されたフィードバックを整合させることができる。 モバイルクラウドソーシングにおける既存のパイプラインは、このオンライン環境でもっとも正確なワーカーを特定することができず、線形後悔の$mathcalO(T)$$$$$T$タイムスロットとなる。 本稿では,各作業者の嗜好集約における重み付けをフィードバック精度に応じて動的に調整する,新しいオンライン重み付け集約機構を提案する。
• 参考スコア（独自算出の注目度）: 27.459710191186407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To better serve users' demands in mobile applications (e.g., navigation), mobile crowdsourcing platforms can iteratively align large language model (LLM)-generated content (e.g., AI-generated traffic condition predictions) with human feedback collected from crowdsourcing workers (e.g., mobile users). However, workers may strategically misreport their online preference feedback to maximize their influence or payment. Existing pipelines in mobile crowdsourcing (e.g., EM-based weight estimation) fail to identify the most accurate worker in this online setting, resulting in a linear regret $\mathcal{O}(T)$ over $T$ time slots. In this paper, we study truthful online preference aggregation for LLM fine-tuning in mobile crowdsourcing. We formulate a new dynamic Bayesian game to model the multi-agent online learning process between the platform and strategic mobile workers. We propose a novel online weighted aggregation mechanism that dynamically adjusts each worker's weight in the preference aggregation according to their feedback accuracy. We prove that our mechanism ensures truthful feedback from strategic workers and achieves a sublinear regret $\mathcal{O}(\sqrt{T})$ over $T$ time slots. We further extend our mechanism to a challenging scenario with limited worker feedback per time slot, still guaranteeing a sublinear regret $\mathcal{O}(\sqrt{T})$. Experiments on LLM fine-tuning with real-world datasets further demonstrate significant performance gains of our mechanisms over benchmark schemes.
• Abstract（参考訳）: モバイルアプリケーション(ナビゲーションなど)におけるユーザの要求に応えるために、モバイルクラウドソーシングプラットフォームは、大規模言語モデル(LLM)生成コンテンツ(AI生成のトラフィック条件予測など)を、クラウドソーシングワーカー(モバイルユーザなど)から収集したフィードバックと反復的に整合させることができる。 しかし、労働者はオンラインの嗜好フィードバックを戦略的に誤って報告し、影響力や支払いを最大化することができる。 既存のモバイルクラウドソーシング(例えばEMベースの重み推定)のパイプラインは、このオンライン設定において最も正確なワーカーを特定することができず、線形後悔の$\mathcal{O}(T)$ over $T$タイムスロットとなる。 本稿では,モバイルクラウドソーシングにおけるLLMファインチューニングの真正なオンライン嗜好アグリゲーションについて検討する。 我々は、プラットフォームと戦略的モバイルワーカーの間のマルチエージェントオンライン学習プロセスをモデル化するために、新しい動的ベイズゲームを定式化した。 本稿では,各作業者の嗜好集約における重み付けをフィードバック精度に応じて動的に調整する,新しいオンライン重み付け集約機構を提案する。 我々は、我々のメカニズムが戦略的労働者からの真にフィードバックを保証し、サブラインの後悔を$\mathcal{O}(\sqrt{T})$ over $T$ time slotsを達成することを証明した。 我々はさらに、我々のメカニズムをタイムスロットあたりのワーカーフィードバックが制限された挑戦的なシナリオにまで拡張し、サブリニアのscreen $\mathcal{O}(\sqrt{T})$を保証します。 実世界のデータセットを用いたLLM微調整実験により,ベンチマーク方式よりも優れた性能が得られた。

関連論文リスト

• Learning to Staff: Offline Reinforcement Learning and Fine-Tuned LLMs for Warehouse Staffing Optimization [15.738083856839749]
  我々は、詳細な歴史的状態表現に基づいてオフライン強化学習を用いて、カスタムトランスフォーマーベースのポリシーを訓練する。 我々は、抽象的、人間可読な状態記述で動作するLCMについて検討する。 我々の研究結果は、両方のアプローチがAIによる運用上の意思決定に有効な道筋を提供することを示している。
  論文  参考訳（メタデータ） (2026-03-25T23:56:25Z)
• Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
  textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。 当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
  論文  参考訳（メタデータ） (2025-10-29T12:08:07Z)
• Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
  BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。 提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
  論文  参考訳（メタデータ） (2025-10-08T18:24:59Z)
• Scaling Laws for Discriminative Classification in Large Language Models [5.56747083508457]
  言語モデリングタスクを識別的分類タスクとして再定義することで、LLMを使用して顧客サポートの支持者を増強できるシステムを提案する。 オフラインとオンラインの両方の実験の結果を提示し,実験システムのオフラインゲインと統計的に有意なオンラインリフトを観測した。 モデルのサイズ、レイテンシ、正確性に関するトレードオフの空間について議論し、将来的なアプリケーションを提案することで、私たちは締めくくっています。
  論文  参考訳（メタデータ） (2024-05-24T17:58:38Z)
• LMEraser: Large Model Unlearning through Adaptive Prompt Tuning [21.141664917477257]
  LMEraserは、データインフルエンスを分離するために、迅速なチューニングアーキテクチャを備えた、分割とコンカマーの戦略を採用している。 実験の結果,LMEraserは精度を損なうことなく,学習コストを100ドル程度削減できることがわかった。
  論文  参考訳（メタデータ） (2024-04-17T04:08:38Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。