論文の概要: When the Model Retires: An Empirical Study of LLM Migration in Open-Source Applications
- arxiv url: http://arxiv.org/abs/2609.31288v1
- Date: Fri, 25 Sep 2026 13:57:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.415832
- Title: When the Model Retires: An Empirical Study of LLM Migration in Open-Source Applications
- Title(参考訳): モデルが引退する時:オープンソースアプリケーションにおけるLCMマイグレーションに関する実証的研究
- Abstract要約: 私たちは、公式に非推奨のモデルやOpenAI、Anthropic、Googleのエンドポイントから移行したコミットのためにGitHubをマイニングしています。
17,703の非フォークリポジトリ(2024-2026)の22,555のコミットから,5,139が公式イベントにマッチする。
閉鎖日以降,引退したモデルからのマイグレーションの82% (95% CI 79-84) が実行された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Applications built on commercial large language model (LLM) APIs depend on model versions that providers retire on their own schedule, with notice periods ranging from one year to two weeks. We ask what actually happens to applications when a model is retired. We mine GitHub for commits that migrate away from officially deprecated models and endpoints of OpenAI, Anthropic, and Google, matching each commit to the provider's published announcement and shutdown dates. From 22,555 commits in 17,703 non-fork repositories (2024-2026), 5,139 are matched to an official event; two independent coders validated a stratified sample of 300 (kappa = 0.89-0.95), and we reweight all estimates by their labels. We find that an estimated 82% (95% CI 79-84) of migrations away from retired models were committed after the shutdown date - after the application had started failing - regardless of repository popularity, prior retirement experience, or the presence of a provider-abstraction layer. The share tracks the provider's notice policy: 89% for Anthropic's 60-114-day notices versus 13% for OpenAI's one-year Assistants API notice, and each e-fold increase in notice length reduces the odds of post-shutdown migration by about three quarters. Model identifiers are hard-coded in 94% of migrating applications, migration effort scales from a median of 6 added lines for prompt-only applications to nearly 700 for fine-tuned ones, and only 8% of migrations switch provider. We release the dataset and pipeline and discuss implications for deprecation policy, dependency-risk assessment of LLM products, and tooling.
- Abstract(参考訳): 商用の大規模言語モデル(LLM)API上に構築されたアプリケーションは、プロバイダが独自のスケジュールで退職するモデルバージョンに依存しており、通知期間は1年から2週間である。
モデルがリタイアされたとき、アプリケーションに実際に何が起こるか尋ねる。
私たちは、公式に廃止されているOpenAI、Anthropic、Googleのエンドポイントから移行したコミットのためにGitHubをマイニングし、各コミットをプロバイダが公表した発表とシャットダウン日と一致させました。
22,555件の非フォークリポジトリ(2024-2026)から5,139件が公式イベントに一致した。
アプリケーションがフェールし始めると、リポジトリの人気や、退職前の経験、あるいはプロバイダが引き寄せるレイヤの有無に関わらず、リタイアしたモデルからのマイグレーションの82%(95% CI 79-84)が、シャットダウン日後に実行されたことが判明した。
Anthropicの60-114日間の通知は89%、OpenAIの1年間のAssistants API通知は13%、各eフォールドの通知長の増加は、シャットダウン後のマイグレーションの確率を約3四半期短縮する。
モデル識別子は、マイグレーションアプリケーションの94%でハードコーディングされており、プロンプトのみのアプリケーションでは中央値の6行から、微調整されたアプリケーションでは700行近く、マイグレーションの切り替えプロバイダでは8%に過ぎません。
データセットとパイプラインを公開し、非推奨ポリシー、LCM製品の依存性リスク評価、ツールについて論じる。
関連論文リスト
- Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。
我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
論文 参考訳(メタデータ) (2026-09-21T16:48:50Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳(メタデータ) (2026-09-01T17:39:26Z) - MADE: Belief-Driven Dual-Agent Coordination for Autonomous Model Deployment [19.126846876843356]
LLMベースのエージェントはドメイン固有のタスクに苦労し、外部ツールの統合を動機付けている。
オープンソースコミュニティは、典型的に異質な研究成果物としてリリースされる多数のAIモデルを提供している。
これらをプリ・ツー・コールのAPIに変換するのは費用がかかり、労力がかかる。
本稿では,デュアルエージェント協調システムであるModel Automated Deployment Engine (MADE)を紹介する。
論文 参考訳(メタデータ) (2026-08-02T12:14:43Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z) - Diffploit: Facilitating Cross-Version Exploit Migration for Open Source Library Vulnerabilities [13.559398564795048]
Diffploitは2つのキーモジュールを中心に構成された反復的で差分駆動のエクスプロイトマイグレーション手法である。
79のライブラリにわたる102のJava CVEと689のバージョンマイグレーションタスクを含む大規模データセット上でDiffploitを評価する。
84.2%のエクスプロイトの移行に成功し、変更対応のテスト修正ツールであるTARGETを52.0%、IDEAのルールベースのツールを61.6%上回った。
論文 参考訳(メタデータ) (2025-11-17T04:06:01Z) - Using Copilot Agent Mode to Automate Library Migration: A Quantitative Assessment [0.5735035463793009]
ソフトウェアシステムを最新の状態に保つことは、技術的負債、セキュリティ上の脆弱性、そしてレガシーシステムの典型的な剛性を避けるために不可欠である。
大規模言語モデル(LLM)やエージェントプログラミングシステムの最近の進歩は、そのような保守作業を自動化する新しい機会を提供する。
論文 参考訳(メタデータ) (2025-10-30T17:05:13Z) - To remove or not remove Mobile Apps? A data-driven predictive model
approach [4.853751680856816]
本稿では,各アプリが削除されるか,受理されるかを決定するデータ駆動型予測手法を提案する。
当社のアプローチは,削除される可能性の低いアプリをダウンロードする際の,アプリやユーザの改善を支援するものです。
論文 参考訳(メタデータ) (2022-06-08T14:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。