論文の概要: Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion

• arxiv url: http://arxiv.org/abs/2607.14371v1
• Date: Wed, 15 Jul 2026 21:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.91688
• Title: Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion
• Title（参考訳）: 教師付き微調整とインテクスト学習--混雑下におけるLLMパーソナライゼーションの平衡分析
• Abstract要約: ICL と SFT は,事前学習とデータ信号対雑音比の相互関係によって決定される。 どちらのパーソナライズ手法も、計算負荷が増大する可能性があるにもかかわらず、プラットフォームの最大利益を損なうことはないことを実証する。
• 参考スコア（独自算出の注目度）: 52.722575491987904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have revolutionized AI services, but a critical tension emerges: while personalization improves model performance, it consumes scarce computational resources that users must share. When should a user invest in expensive Supervised Fine-Tuning (SFT) versus lightweight In-Context Learning (ICL)? How does congestion from other users' personalization choices reshape these incentives? And what strategies should platforms adopt when offering multiple personalization algorithms? We develop a tractable framework for LLM serving that captures the statistical-economic trade-offs users face. Our analysis yields several surprising insights. First, we show that ICL and SFT dominate in different regimes, determined by an interplay between pretraining coverage and data signal-to-noise ratios, but congestion can flip these rankings. Second, equilibrium resource consumption exhibits pronounced non-monotonicity: improving pretraining precision reduces the congestion, while broader pretraining coverage and harder tasks sometimes increase it. Third, we prove that offering both personalization methods never hurts the platform's maximal profits, despite potentially increasing computational load. Experiments with GPT-2 on linear regression tasks validate our theoretical predictions about algorithm performance. Complementing these results, our review of documentation from 21 major AI platforms shows that the share offering both SFT and ICL increased from 9.5% in 2021 to 71.4% in 2025, consistent with our platform-design implications.
• Abstract（参考訳）: 大規模言語モデル(LLM)はAIサービスに革命をもたらしたが、重大な緊張が生じている。 ユーザが高価なSupervised Fine-Tuning (SFT) と軽量 In-Context Learning (ICL) にいつ投資すべきか? 他ユーザのパーソナライズ選択による混雑が,これらのインセンティブをどう変えていくのか? 複数のパーソナライズアルゴリズムを提供する上で、プラットフォームはどのような戦略を採用するべきか? 我々は,ユーザが直面する統計的・経済的トレードオフをキャプチャするLLMサービスのための抽出可能なフレームワークを開発する。 我々の分析はいくつかの驚くべき洞察をもたらす。 まず、ICLとSFTは、事前学習のカバレッジとデータ信号と雑音の比率の相互作用によって決定されるが、混雑はこれらのランキングを覆すことができる。 第2に、平衡資源消費は非単調性を示す: 事前訓練精度の向上は混雑を減少させるが、より広範な事前訓練と困難な作業は時に増加させる。 第三に、計算負荷が増大する可能性があるにもかかわらず、両方のパーソナライズ手法を提供することは、プラットフォームの最大利益を損なうことはないことを証明します。 線形回帰問題に対する GPT-2 を用いた実験は,アルゴリズムの性能に関する理論的予測を検証した。 これらの結果の補完として、21の主要AIプラットフォームからのドキュメントのレビューは、SFTとICLのシェアが2021年の9.5%から2025年の71.4%に増加したことを示している。

関連論文リスト

• A Theory of Training Profit-Optimal LLMs [12.802715423118316]
  LLM訓練会社の合理的行動を特徴付けるための経済モデルを開発する。 我々は、このモデルにおける利益問題を、計算バウンドおよびデータバウンド体制下で分析する。
  論文  参考訳（メタデータ） (2026-05-14T18:57:40Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• Thinking Augmented Pre-training [88.04395622064708]
  拡張事前学習は、自動生成された思考軌跡でテキストを増強する普遍的な方法論である。 本稿では,既存のテキストデータを思考トラジェクトリで拡張することにより,大規模言語モデル(LLM)トレーニングのデータ効率を向上させるための,シンプルでスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-24T14:45:13Z)
• Supervised Fine Tuning on Curated Data is Reinforcement Learning (and can be improved) [3.13388270461847]
  我々は、教師付き微調整(SFT)と強化学習(RL)による最適政策の発見理論と実践との関係を描いている。 SFTに小さな修正を加えることで、RLのトレーニングに近く行動する重み付き変異が重要となることを示す。 我々は、この変種を重み付けされた教師付き微調整(iw-SFT)として参照する。
  論文  参考訳（メタデータ） (2025-07-17T07:26:54Z)
• Incentivize Contribution and Learn Parameters Too: Federated Learning with Strategic Data Owners [10.49446504694834]
  データ収集と分散アルゴリズムの実行はクライアントにとってコストがかかるため,プロセスへの参加とコントリビューションのためのエージェントのインセンティブを検討する。 本稿では,現在ある文献と区別する,同時パラメータ学習と貢献の真相的動機付けの問題に対処する。 実(フェデレートされた)データセット(CIFAR-10、FEMNIST、Twitter)による大規模な実験は、これらのアルゴリズムが実際に非常に高速に収束し、優れた福祉保証と、すべてのエージェントのモデルパフォーマンスが向上していることを示している。
  論文  参考訳（メタデータ） (2025-05-17T14:04:20Z)
• SCEI: A Smart-Contract Driven Edge Intelligence Framework for IoT Systems [15.796325306292134]
  フェデレートラーニング(FL)は、データプライバシを維持しながら、エッジデバイス上で共有モデルの協調トレーニングを可能にする。 様々なパーソナライズされたアプローチが提案されているが、そのようなアプローチはデータ分散の根底にある変化に対処できない。 本稿では,ブロックチェーンとフェデレーション学習に基づく動的に最適化された個人深層学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-12T02:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。