論文の概要: Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets

• arxiv url: http://arxiv.org/abs/2508.17391v1
• Date: Sun, 24 Aug 2025 15:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.499242
• Title: Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets
• Title（参考訳）: 普遍予測子としての大規模言語モデル : 小語彙データセットに関する実証的研究
• Authors: Nikolaos Pavlidis, Vasilis Perifanis, Symeon Symeonidis, Pavlos S. Efraimidis,
• Abstract要約: 大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。 分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs), originally developed for natural language processing (NLP), have demonstrated the potential to generalize across modalities and domains. With their in-context learning (ICL) capabilities, LLMs can perform predictive tasks over structured inputs without explicit fine-tuning on downstream tasks. In this work, we investigate the empirical function approximation capability of LLMs on small-scale structured datasets for classification, regression and clustering tasks. We evaluate the performance of state-of-the-art LLMs (GPT-5, GPT-4o, GPT-o3, Gemini-2.5-Flash, DeepSeek-R1) under few-shot prompting and compare them against established machine learning (ML) baselines, including linear models, ensemble methods and tabular foundation models (TFMs). Our results show that LLMs achieve strong performance in classification tasks under limited data availability, establishing practical zero-training baselines. In contrast, the performance in regression with continuous-valued outputs is poor compared to ML models, likely because regression demands outputs in a large (often infinite) space, and clustering results are similarly limited, which we attribute to the absence of genuine ICL in this setting. Nonetheless, this approach enables rapid, low-overhead data exploration and offers a viable alternative to traditional ML pipelines in business intelligence and exploratory analytics contexts. We further analyze the influence of context size and prompt structure on approximation quality, identifying trade-offs that affect predictive performance. Our findings suggest that LLMs can serve as general-purpose predictive engines for structured data, with clear strengths in classification and significant limitations in regression and clustering.
• Abstract（参考訳）: 自然言語処理(NLP)のために開発されたLarge Language Models (LLMs) は、モダリティやドメインをまたいだ一般化の可能性を示している。 コンテキスト内学習(ICL)機能により、LLMは下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行できる。 本研究では, LLMの分類, 回帰, クラスタリングタスクのための小規模構造化データセットに対する経験的関数近似能力について検討する。 我々は,現状のLLM(GPT-5,GPT-4o,GPT-o3,Gemini-2.5-Flash,DeepSeek-R1)の性能を数発のプロンプトで評価し,線形モデル,アンサンブル法,表層基礎モデル(TFMs)を含む機械学習(ML)ベースラインと比較した。 以上の結果から, LLMはデータ可用性に制限のある分類タスクにおいて高い性能を達成し, 実践的なゼロトレーニングベースラインを確立した。 対照的に、連続値出力による回帰性能はMLモデルに比べて劣るが、これは大きな(しばしば無限)空間での回帰要求出力が制限され、クラスタリング結果も同様に制限されており、この設定では真のICLが欠落しているためと考えられる。 それでもこのアプローチは、迅速な低オーバーヘッドデータ探索を可能にし、ビジネスインテリジェンスや探索的分析コンテキストにおいて、従来のMLパイプラインに代わる実行可能な選択肢を提供する。 さらに,予測性能に影響を及ぼすトレードオフを識別し,文脈の大きさや構造が近似品質に与える影響を解析する。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。

関連論文リスト

• Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs [57.82819770709032]
  大規模言語モデル (LLM) は、na "ive direct prompting" を通じて効果的な文脈支援予測を行うことができる。 ReDPは、明確な推論トレースを抽出することで、解釈可能性を改善し、コンテキスト上でモデルの推論を評価することができる。 CorDPはLLMを活用して、既存の予測をコンテキストで洗練し、現実の予測パイプラインにおける適用性を高める。 IC-DPは、文脈支援予測タスクの歴史的例を即時に組み込むことを提案し、大規模モデルにおいても精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-13T16:02:55Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective [29.924482732745954]
  既存のアプローチでは、忘れられるべきデータポイントは独立であり、接続性を無視していると仮定している。 構造データセットをコンパイルする手法であるPISTOLを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:22:36Z)
• A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models [0.18416014644193068]
  CRILMは、事前訓練された言語モデルを使用して、不足する値に対してコンテキストに関連のある記述子を作成する。 本評価は,MCAR,MAR,MNARシナリオにおけるCRILMの優れた性能とロバスト性を示す。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
  大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。 このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。 本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:31:03Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。