論文の概要: Can Language Models Analyze Data? Evaluating Large Language Models for Question Answering over Datasets
- arxiv url: http://arxiv.org/abs/2605.10419v1
- Date: Mon, 11 May 2026 11:54:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.785886
- Title: Can Language Models Analyze Data? Evaluating Large Language Models for Question Answering over Datasets
- Title（参考訳）: 言語モデルはデータを分析できるか?データセットによる質問応答のための大規模言語モデルの評価
- Authors: Andreas Xenofontos, Pavlos Fafalios,
- Abstract要約: 本稿では,大規模言語モデル(LLM)の有効性について検討する。
難易度の異なる質問を含む2つのデータセットで実験を行った。
その結果,より小型でコスト効率のよいモデルの限界を浮き彫りにしながら,大型LLMの強い性能を示した。
- 参考スコア（独自算出の注目度）: 0.03683202928838612
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper investigates the effectiveness of large language models (LLMs) in answering questions over datasets. We examine their performance in two scenarios: (a) directly answering questions given a dataset file as input, and (b) generating SQL queries to answer questions given the schema of a relational database. We also evaluate the impact of different prompting strategies on model performance. The study includes both state-of-the-art LLMs and smaller language models that require fewer resources and operate at lower computational and financial cost. Experiments are conducted on two datasets containing questions of varying difficulty. The results demonstrate the strong performance of large LLMs, while highlighting the limitations of smaller, more cost-efficient models. These findings contribute to a better understanding of how LLMs can be utilized in data analytics tasks and their associated limitations.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の有効性について検討する。
私たちは2つのシナリオでそれらのパフォーマンスを調べます。
(a) 与えられたデータセットファイルを入力として直接回答し、
(b)リレーショナルデータベースのスキーマから質問に答えるためにSQLクエリを生成する。
また、異なるプロンプト戦略がモデル性能に与える影響も評価した。
この研究には、最先端のLLMとより小さな言語モデルの両方が含まれており、より少ないリソースを必要とし、より少ない計算と費用で運用する。
難易度の異なる質問を含む2つのデータセットで実験を行った。
その結果,より小型でコスト効率のよいモデルの限界を浮き彫りにしながら,大型LLMの強い性能を示した。
これらの知見は、LLMがデータ分析タスクや関連する制限にどのように利用されるか、より深く理解するのに役立ちます。
関連論文リスト
- IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z) - LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。
In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。
本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
論文 参考訳（メタデータ） (2025-04-21T11:11:07Z) - New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。
MLLM(Multimodal Large Language Models)の試験場として機能する。
論文 参考訳（メタデータ） (2025-02-27T13:58:44Z) - 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。
我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。
実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
論文 参考訳（メタデータ） (2024-09-24T07:38:38Z) - Learning to Reduce: Towards Improving Performance of Large Language Models on Structured Data [39.29778853025738]
大規模言語モデル(LLM)は、幅広い下流タスクにおいて有能なパフォーマンスを実現している。
本稿では、オン・ポリシー・ラーニングを用いて言語モデルを微調整し、入力された構造化データの縮小版を生成するフレームワークであるLearning to Reduceを提案する。
論文 参考訳（メタデータ） (2024-07-03T01:51:50Z) - Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems [76.69936664916061]
LM呼び出し回数がVotteとFilter-Voteのパフォーマンスに与える影響について検討する。
意外なことに、複数の言語タスクにおいて、VoteとFilter-Voteの両方のパフォーマンスは、まず増大するが、LM呼び出しの回数の関数として減少する可能性がある。
論文 参考訳（メタデータ） (2024-03-04T19:12:48Z) - Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳（メタデータ） (2024-02-22T00:41:23Z) - On Evaluating the Integration of Reasoning and Action in LLM Agents with
Database Question Answering [25.57202500348071]
本研究では、大規模言語モデルがデータベースとどのように相互作用するかを評価するために設計された、新しい長文データベース質問応答データセットを提案する。
このタスクでは、LLMが戦略的に複数のクエリを生成し、データベースから十分なデータを取得し、取得したコンテキストを推論し、それらを総合的な分析的な物語に合成する必要がある。
本稿では2つのインタラクション戦略を提案し評価し、インタラクション内の個々のステージを詳細に分析する。
論文 参考訳（メタデータ） (2023-11-16T09:55:07Z) - Improving Small Language Models on PubMedQA via Generative Data
Augmentation [4.96649519549027]
大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。
小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。
医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-12T23:49:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。