論文の概要: Large Language Models for Automated Cross-Domain Machine Learning Task Type Identification: A Benchmark Dataset and Evaluation

• arxiv url: http://arxiv.org/abs/2609.35335v1
• Date: Mon, 28 Sep 2026 14:55:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:26:14.838724
• Title: Large Language Models for Automated Cross-Domain Machine Learning Task Type Identification: A Benchmark Dataset and Evaluation
• Title（参考訳）: 機械学習タスクタイプ同定のための大規模言語モデル:ベンチマークデータセットと評価
• Abstract要約: 大規模言語モデル(LLM)は、データセットレベルの情報から直接、データドメインと下流予測タスクの両方を推論することができる。 提案手法は,より小さなローカルモデルを用いた実践的な展開シナリオを含む,3つの設定で評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Machine learning task type identification is essential for constructing valid ML pipelines, yet in practice it is typically specified manually. We investigate whether large language models (LLMs) can infer both the data domain and the downstream prediction task directly from dataset-level information when only the target feature is provided by the user. Together with our LLM-based system we also release an annotated benchmark comprising 625 public tabular and time series datasets. We evaluate the proposed approach in three settings: (i) tabular datasets in comparison with established AutoML heuristics, (ii) cross-domain evaluation across tabular and time series datasets, and (iii) a practical deployment scenario using smaller local models. The results show consistent advantages for LLM-based task type identification, with increasing difficulty in heterogeneous and resource-constrained settings. LLM-based approaches outperform AutoGluon in the tabular setting, reaching 0.98 F1 macro compared to 0.93. In the cross-domain setting, the best model achieves 0.90 F1 macro, while smaller locally deployable models reach 0.75, indicating a trade-off between deployment feasibility and accuracy.
• Abstract（参考訳）: 機械学習タスクタイプの識別は有効なMLパイプラインを構築するのに不可欠だが、実際には手動で指定されるのが一般的である。 本研究では,大規模言語モデル (LLM) が,対象特徴のみをユーザから提供した場合,データセットレベル情報から直接,データ領域と下流予測タスクの両方を推測できるかどうかを検討する。 LLMベースのシステムとともに、625のパブリックタブおよび時系列データセットからなる注釈付きベンチマークもリリースしました。 提案手法を3つの設定で評価する。 (i)既存のAutoMLヒューリスティックスと比較して表のデータセット。 二 表表及び時系列データセット間のクロスドメイン評価、及び (iii)より小さなローカルモデルを用いた実践的なデプロイメントシナリオ。 その結果、LLMに基づくタスクタイプ識別には一貫した利点があり、不均一性やリソース制約のある設定が困難になる。 LLM ベースのアプローチは AutoGluon よりも優れており、0.93 に比べて 0.98 F1 マクロに達した。 クロスドメイン設定では、最良のモデルは0.90 F1マクロを達成し、小さなローカル展開可能なモデルは0.75に達する。

関連論文リスト

• Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
  本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。 我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
  論文  参考訳（メタデータ） (2026-01-27T08:42:54Z)
• Pre-Hoc Predictions in AutoML: Leveraging LLMs to Enhance Model Selection and Benchmarking for Tabular datasets [4.960830501953278]
  本稿では,AutoMLとpre-hocモデル選択の交点について検討する。 従来のモデルとLarge Language Model (LLM) エージェントを活用することで、AutoML検索スペースを削減できる。 提案されたアプローチは、AutoMLのシフトを提供し、計算オーバーヘッドを大幅に削減するとともに、与えられたデータセットに最適なモデルを選択している。
  論文  参考訳（メタデータ） (2025-10-02T09:37:12Z)
• GeMQuAD : Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learning [4.8838210812204235]
  本稿では,対象言語に1つの例があるICLを用いて生成されたデータセットに対して,半教師付き学習手法であるGeMQuADを提案する。 我々は、特に低リソースの多言語設定において、モデル性能を向上させるために、高品質なデータを反復的に識別する。 我々のフレームワークは、ヒンディー語で0.22/1.68 F1/EMポイント、MLQAデータセットでスペイン語で0.82/1.37 F1/EMポイントで機械翻訳拡張モデルより優れています。
  論文  参考訳（メタデータ） (2024-04-14T06:55:42Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• ANLS* -- A Universal Document Processing Metric for Generative Large Language Models [40.94659575657584]
  本稿ではANLS*と呼ばれる生成モデルを評価するための新しい指標を提案する。 ANLS*メトリックは、既存のANLSメトリクスをドロップ・イン・リプレースとして拡張し、以前報告されたANLSスコアと互換性がある。 また、SFTと呼ばれる文書のプロンプトを生成する新しい手法を、LATINなどの他のプロンプト技術に対してベンチマークする。
  論文  参考訳（メタデータ） (2024-02-06T09:50:08Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• An Open Dataset and Model for Language Identification [84.15194457400253]
  マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。 モデルとデータセットの両方を研究コミュニティに公開しています。
  論文  参考訳（メタデータ） (2023-05-23T08:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。