論文の概要: Designing Deep Learning Frameworks for LLMs:Challenges, Expectations, and Opportunities
- arxiv url: http://arxiv.org/abs/2506.13114v1
- Date: Mon, 16 Jun 2025 05:45:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 17:28:47.505679
- Title: Designing Deep Learning Frameworks for LLMs:Challenges, Expectations, and Opportunities
- Title（参考訳）: LLMのためのディープラーニングフレームワークの設計:変化、期待、機会
- Authors: Yanzhou Mu, Rong Wang, Juan Zhai, Chunrong Fang, Xiang Chen, Jiacong Wu, An Guo, Jiawei Shen, Bingzhuo Li, Zhenyu Chen,
- Abstract要約: 大規模言語モデル(LLM)は、実業界アプリケーションにおいて大きな進歩をもたらす。
LLMは、効率的なモデル構築、分散実行、最適化されたデプロイメントのためのDLフレームワークに依存している。
DLフレームワークのユーザビリティ、機能制限、バグにより、開発効率が損なわれ、深刻な障害やリソースの浪費を引き起こす可能性がある。
- 参考スコア（独自算出の注目度）: 32.10519814607409
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) drive significant advancements in real industry applications. LLMs rely on DL frameworks for efficient model construction, distributed execution, and optimized deployment. Their large parameter scale and long execution cycles place extreme demands on DL frameworks in terms of scalability, stability, and efficiency. Therefore, poor usability, limited functionality, and subtle bugs in DL frameworks may hinder development efficiency and cause severe failures or resource waste. However, a fundamental question remains underinvestigated, i.e., What challenges do DL frameworks face in supporting LLMs? To seek an answer, we investigate these challenges through a large-scale analysis of issue reports from three major DL frameworks (MindSpore, PyTorch, TensorFlow) and eight associated LLM toolkits (e.g., Megatron). We construct a taxonomy of LLM-centric bugs, requirements, and user questions and enrich it through interviews with 11 LLM users and eight DL framework developers, uncovering key technical challenges and misalignments between user needs and developer priorities. Our contributions are threefold: (1) we develop a comprehensive taxonomy comprising four question themes (nine sub-themes), four requirement themes (15 sub-themes), and ten bug themes (45 sub-themes); (2) we assess the perceived importance and priority of these challenges based on practitioner insights; and (3) we identify five key findings across the LLM development and propose five actionable recommendations to improve the reliability, usability, and testability of DL frameworks. Our results highlight critical limitations in current DL frameworks and offer concrete guidance for advancing their support for the next generation of LLM construction and applications.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、実業界アプリケーションにおいて大きな進歩をもたらす。
LLMは、効率的なモデル構築、分散実行、最適化されたデプロイメントのためのDLフレームワークに依存している。
彼らの大きなパラメータスケールと長い実行サイクルは、スケーラビリティ、安定性、効率性の点でDLフレームワークに極端な要求を課します。
したがって、DLフレームワークのユーザビリティの低下、機能制限、微妙なバグにより、開発効率が損なわれ、深刻な障害やリソースの浪費を引き起こす可能性がある。
DLフレームワークはLLMをサポートする上でどのような課題に直面しているのか?
そこで本研究では,3つの主要なDLフレームワーク(MindSpore,PyTorch,TensorFlow)と8つのLLMツールキット(例:Megatron)のイシューレポートを大規模に分析して,これらの課題について検討する。
LLM中心のバグ,要件,ユーザ質問の分類を構築し,11人のLDMユーザと8人のDLフレームワーク開発者とのインタビューを通じて,ユーザニーズと開発者の優先順位の相違点を明らかにする。
1)4つの質問テーマ(9つのサブテーマ),4つの要件テーマ(15のサブテーマ),10のバグテーマ(45のサブテーマ),2つの課題の重要性と優先順位を実践者の知見に基づいて評価すること,3)LCM開発における5つの重要な発見を特定し,DLフレームワークの信頼性,ユーザビリティ,テスト可能性を改善するための5つの実行可能な推奨事項を提案すること,である。
この結果は,現在のDLフレームワークにおける限界を強調し,次世代のLLM構築およびアプリケーションのサポートを進めるための具体的なガイダンスを提供する。
関連論文リスト
- Exploring the Necessity of Reasoning in LLM-based Agent Scenarios [74.35956310688164]
ツール利用,計画設計,問題解決の9つのタスクを含むLaRMAフレームワークを提案する。
LRMは計画設計のような推論集約的なタスクにおいてLLMを超越し、反復反射を優れた結果に活用する、という4つの研究課題に対処する。
LRMの強化された推論は、過剰思考や事実を無視した傾向を含む高い計算コスト、長い処理、行動上の問題を引き起こす。
論文 参考訳（メタデータ） (2025-03-14T04:34:31Z) - LLMs are Also Effective Embedding Models: An In-depth Overview [41.34518828980852]
大規模言語モデル(LLM)は、様々なタスクで最先端のパフォーマンスを達成することによって、自然言語処理に革命をもたらした。
近年、埋め込みモデルとしての有効性が注目され、ELMoやBERTのような従来のエンコーダのみのモデルから、GPT、LLaMA、Mistralのようなデコーダのみの大規模LLMへとパラダイムシフトした。
論文 参考訳（メタデータ） (2024-12-17T06:48:24Z) - LITA: An Efficient LLM-assisted Iterative Topic Augmentation Framework [0.0]
大きな言語モデル(LLM)は動的トピックの洗練と発見の可能性を秘めている。
これらの課題に対処するため、LLM支援反復トピック拡張フレームワーク(LITA)を提案する。
LITAは、ユーザが提供するシードと埋め込みベースのクラスタリングと反復的な改良を統合している。
論文 参考訳（メタデータ） (2024-12-17T01:43:44Z) - Enhancing Financial Question Answering with a Multi-Agent Reflection Framework [0.0]
本稿では,各質問に対する推論ステップと最終回答を反映した批判エージェントを組み込んだマルチエージェントフレームワークを提案する。
以上の結果から,このフレームワークはシングルエージェント推論に比べて性能が著しく向上することが示された。
我々のフレームワークはLLaMA3.1-405B や GPT-4o-mini のようなより大きな単一エージェント LLM に匹敵する性能を持つ。
論文 参考訳（メタデータ） (2024-10-29T04:58:07Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳（メタデータ） (2024-03-06T15:33:32Z) - Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳（メタデータ） (2023-12-04T18:58:57Z) - FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。
本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。
FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
論文 参考訳（メタデータ） (2023-10-31T12:32:38Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳（メタデータ） (2023-10-11T14:18:03Z) - Large Language Model Cascades with Mixture of Thoughts Representations
for Cost-efficient Reasoning [19.472937476936636]
大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。
本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。
提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
論文 参考訳（メタデータ） (2023-10-04T18:21:17Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳（メタデータ） (2023-05-23T17:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。