論文の概要: Designing Deep Learning Frameworks for LLMs:Challenges, Expectations, and Opportunities

• arxiv url: http://arxiv.org/abs/2506.13114v1
• Date: Mon, 16 Jun 2025 05:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.505679
• Title: Designing Deep Learning Frameworks for LLMs:Challenges, Expectations, and Opportunities
• Title（参考訳）: LLMのためのディープラーニングフレームワークの設計:変化、期待、機会
• Authors: Yanzhou Mu, Rong Wang, Juan Zhai, Chunrong Fang, Xiang Chen, Jiacong Wu, An Guo, Jiawei Shen, Bingzhuo Li, Zhenyu Chen,
• Abstract要約: 大規模言語モデル(LLM)は、実業界アプリケーションにおいて大きな進歩をもたらす。 LLMは、効率的なモデル構築、分散実行、最適化されたデプロイメントのためのDLフレームワークに依存している。 DLフレームワークのユーザビリティ、機能制限、バグにより、開発効率が損なわれ、深刻な障害やリソースの浪費を引き起こす可能性がある。
• 参考スコア（独自算出の注目度）: 32.10519814607409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) drive significant advancements in real industry applications. LLMs rely on DL frameworks for efficient model construction, distributed execution, and optimized deployment. Their large parameter scale and long execution cycles place extreme demands on DL frameworks in terms of scalability, stability, and efficiency. Therefore, poor usability, limited functionality, and subtle bugs in DL frameworks may hinder development efficiency and cause severe failures or resource waste. However, a fundamental question remains underinvestigated, i.e., What challenges do DL frameworks face in supporting LLMs? To seek an answer, we investigate these challenges through a large-scale analysis of issue reports from three major DL frameworks (MindSpore, PyTorch, TensorFlow) and eight associated LLM toolkits (e.g., Megatron). We construct a taxonomy of LLM-centric bugs, requirements, and user questions and enrich it through interviews with 11 LLM users and eight DL framework developers, uncovering key technical challenges and misalignments between user needs and developer priorities. Our contributions are threefold: (1) we develop a comprehensive taxonomy comprising four question themes (nine sub-themes), four requirement themes (15 sub-themes), and ten bug themes (45 sub-themes); (2) we assess the perceived importance and priority of these challenges based on practitioner insights; and (3) we identify five key findings across the LLM development and propose five actionable recommendations to improve the reliability, usability, and testability of DL frameworks. Our results highlight critical limitations in current DL frameworks and offer concrete guidance for advancing their support for the next generation of LLM construction and applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、実業界アプリケーションにおいて大きな進歩をもたらす。 LLMは、効率的なモデル構築、分散実行、最適化されたデプロイメントのためのDLフレームワークに依存している。 彼らの大きなパラメータスケールと長い実行サイクルは、スケーラビリティ、安定性、効率性の点でDLフレームワークに極端な要求を課します。 したがって、DLフレームワークのユーザビリティの低下、機能制限、微妙なバグにより、開発効率が損なわれ、深刻な障害やリソースの浪費を引き起こす可能性がある。 DLフレームワークはLLMをサポートする上でどのような課題に直面しているのか? そこで本研究では,3つの主要なDLフレームワーク(MindSpore,PyTorch,TensorFlow)と8つのLLMツールキット(例:Megatron)のイシューレポートを大規模に分析して,これらの課題について検討する。 LLM中心のバグ,要件,ユーザ質問の分類を構築し,11人のLDMユーザと8人のDLフレームワーク開発者とのインタビューを通じて,ユーザニーズと開発者の優先順位の相違点を明らかにする。 1)4つの質問テーマ(9つのサブテーマ),4つの要件テーマ(15のサブテーマ),10のバグテーマ(45のサブテーマ),2つの課題の重要性と優先順位を実践者の知見に基づいて評価すること,3)LCM開発における5つの重要な発見を特定し,DLフレームワークの信頼性,ユーザビリティ,テスト可能性を改善するための5つの実行可能な推奨事項を提案すること,である。 この結果は,現在のDLフレームワークにおける限界を強調し,次世代のLLM構築およびアプリケーションのサポートを進めるための具体的なガイダンスを提供する。

関連論文リスト

• Exploring the Necessity of Reasoning in LLM-based Agent Scenarios [74.35956310688164]
  ツール利用,計画設計,問題解決の9つのタスクを含むLaRMAフレームワークを提案する。 LRMは計画設計のような推論集約的なタスクにおいてLLMを超越し、反復反射を優れた結果に活用する、という4つの研究課題に対処する。 LRMの強化された推論は、過剰思考や事実を無視した傾向を含む高い計算コスト、長い処理、行動上の問題を引き起こす。
  論文  参考訳（メタデータ） (2025-03-14T04:34:31Z)
• LITA: An Efficient LLM-assisted Iterative Topic Augmentation Framework [0.0]
  大きな言語モデル(LLM)は動的トピックの洗練と発見の可能性を秘めている。 これらの課題に対処するため、LLM支援反復トピック拡張フレームワーク(LITA)を提案する。 LITAは、ユーザが提供するシードと埋め込みベースのクラスタリングと反復的な改良を統合している。
  論文  参考訳（メタデータ） (2024-12-17T01:43:44Z)
• Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
  本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。 まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。 驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
  論文  参考訳（メタデータ） (2023-12-04T18:58:57Z)
• Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning [19.472937476936636]
  大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。 本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。 提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
  論文  参考訳（メタデータ） (2023-10-04T18:21:17Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。