論文の概要: Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study

• arxiv url: http://arxiv.org/abs/2506.19794v1
• Date: Tue, 24 Jun 2025 17:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.736156
• Title: Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study
• Title（参考訳）: オープンソース LLM はなぜデータ分析にゆがむのか? : 系統的実証研究
• Authors: Yuqi Zhu, Yi Zhong, Jintian Zhang, Ziheng Zhang, Shuofei Qiao, Yujie Luo, Lun Du, Da Zheng, Huajun Chen, Ningyu Zhang,
• Abstract要約: データ理解、コード生成、戦略的計画という3つの側面にわたるモデルを評価します。 我々はこれらの知見を活用してデータ合成手法を開発し、オープンソースのLCMの分析的推論能力の大幅な改善を実証した。
• 参考スコア（独自算出の注目度）: 55.09905978813599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) hold promise in automating data analysis tasks, yet open-source models face significant limitations in these kinds of reasoning-intensive scenarios. In this work, we investigate strategies to enhance the data analysis capabilities of open-source LLMs. By curating a seed dataset of diverse, realistic scenarios, we evaluate models across three dimensions: data understanding, code generation, and strategic planning. Our analysis reveals three key findings: (1) Strategic planning quality serves as the primary determinant of model performance; (2) Interaction design and task complexity significantly influence reasoning capabilities; (3) Data quality demonstrates a greater impact than diversity in achieving optimal performance. We leverage these insights to develop a data synthesis methodology, demonstrating significant improvements in open-source LLMs' analytical reasoning capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、データ分析タスクの自動化を約束するが、オープンソースモデルは、このような推論集約的なシナリオにおいて、重大な制限に直面している。 本研究では,オープンソースLLMのデータ解析機能を強化するための戦略について検討する。 多様な現実的なシナリオのシードデータセットをキュレートすることで、データ理解、コード生成、戦略的計画という3つの次元にわたるモデルを評価します。 分析の結果,(1)戦略計画品質がモデル性能の主要な決定要因となること,(2)相互作用設計とタスクの複雑さが推論能力に大きく影響すること,(3)データ品質が最適性能を達成する上での多様性よりも大きな影響を示すこと,の3つが明らかになった。 我々はこれらの知見を活用してデータ合成手法を開発し、オープンソースのLCMの分析的推論能力の大幅な改善を実証した。

関連論文リスト

• Large Language Models (LLMs) for Source Code Analysis: applications, models and datasets [3.8740749765622167]
  大規模言語モデル(LLM)やトランスフォーマーベースのアーキテクチャは、ますますソースコード解析に利用されている。 本稿では,3つの重要な側面に焦点をあて,異なるコード解析タスクにおけるLLMの役割について考察する。
  論文  参考訳（メタデータ） (2025-03-21T19:29:50Z)
• Unleashing LLM Reasoning Capability via Scalable Question Synthesis from Scratch [54.12139707822201]
  本稿では,新しい,スケーラブルで費用対効果の高いデータ合成手法であるScaleQuestを提案する。 スクラッチから多様な質問を生成することで、100万の問題解決ペアのデータセットを生成します。 私たちの実験では、データに基づいてトレーニングされたモデルが、既存のオープンソースデータセットより優れています。
  論文  参考訳（メタデータ） (2024-10-24T12:42:04Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning [64.5243480989869]
  コーディングデータは、事前訓練中に推論能力を高めることで知られています。 IFTにおける内的推論能力の活性化におけるその役割はいまだ検討されている。 IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
  論文  参考訳（メタデータ） (2024-05-30T23:20:25Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。