論文の概要: AutoDataset: A Lightweight System for Continuous Dataset Discovery and Search

• arxiv url: http://arxiv.org/abs/2603.07271v1
• Date: Sat, 07 Mar 2026 16:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:14.195388
• Title: AutoDataset: A Lightweight System for Continuous Dataset Discovery and Search
• Title（参考訳）: AutoDataset: 継続的データセット発見と検索のための軽量システム
• Authors: Junzhe Yang, Xinghao Chen, Yunuo Liu, Zhijing Sun, Wenjin Guo, Xiaoyu Shen,
• Abstract要約: AutoDatasetは、リアルタイムデータセットの検出と検索のための自動化システムである。 arXivを監視して、新たに公開された研究から直接データセットを検出し、インデックスする。 研究者が新たにリリースしたデータセットを見つけるのに必要な時間を著しく短縮し、データセット発見効率を最大80%向上させることが示されている。
• 参考スコア（独自算出の注目度）: 14.021475049020962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The continuous expansion of task-specific datasets has become a major driver of progress in machine learning. However, discovering newly released datasets remains difficult, as existing platforms largely depend on manual curation or community submissions, leading to limited coverage and substantial delays. To address this challenge, we introduce AutoDataset, a lightweight, automated system for real-time dataset discovery and retrieval. AutoDataset adopts a paper-first approach by continuously monitoring arXiv to detect and index datasets directly from newly published research. The system operates through a low-overhead multi-stage pipeline. First, a lightweight classifier rapidly filters titles and abstracts to identify papers releasing datasets, achieving an F1 score of 0.94 with an inference latency of 11 ms. For identified papers, we parse PDFs with GROBID and apply a sentence-level extractor to extract dataset descriptions. Dataset URLs are extracted from the paper text with an automated fallback to LaTeX source analysis when needed. Finally, the structured records are indexed using a dense semantic retriever, enabling low-latency natural language search. We deploy AutoDataset as a live system that continuously ingests new papers and provides up-to-date dataset discovery. In practice, it has been shown to significantly reduce the time required for researchers to locate newly released datasets, improving dataset discovery efficiency by up to 80%.
• Abstract（参考訳）: タスク固有のデータセットの継続的な拡張は、機械学習の進歩の大きな要因となっている。 しかし、既存のプラットフォームは手作業によるキュレーションやコミュニティへの投稿に大きく依存しているため、新たにリリースされたデータセットの発見は難しいままである。 この課題に対処するために、リアルタイムデータセットの検出と検索のための軽量で自動化されたシステムであるAutoDatasetを紹介します。 AutoDatasetでは、arXivを継続的に監視して、新たに公開された研究から直接データセットを検出し、インデックスする、ペーパーファーストのアプローチを採用している。 システムは低オーバーヘッドのマルチステージパイプラインを介して動作する。 まず、軽量分類器がタイトルや要約を高速にフィルタリングしてデータセットを抽出し、F1スコア0.94を11ミリ秒の遅延で達成する。特定された論文では、PDFをGROBIDで解析し、文レベル抽出器を用いてデータセット記述を抽出する。 紙のテキストからデータセットURLを抽出し、必要に応じてLaTeXソース分析に自動フォールバックする。 最後に、構造化されたレコードは、高密度なセマンティックレトリバーを用いてインデックス化され、低レイテンシの自然言語検索を可能にする。 新しい論文を継続的に取り込み、最新のデータセット発見を提供するライブシステムとしてAutoDatasetをデプロイします。 実際には、研究者が新たにリリースしたデータセットを見つけるのに必要な時間を著しく短縮し、データセット発見効率を最大80%向上させることが示されている。

関連論文リスト

• MOLE: Metadata Extraction and Validation in Scientific Papers Using LLMs [48.73595915402094]
  MOLEは、アラビア語以外の言語のデータセットをカバーする科学論文からメタデータ属性を自動的に抽出するフレームワークである。 本手法では,複数の入力形式にまたがって文書全体を処理し,一貫した出力に対する堅牢な検証機構を組み込む。
  論文  参考訳（メタデータ） (2025-05-26T10:31:26Z)
• AutoData: A Multi-Agent System for Open Web Data Collection [37.832257245199365]
  AutoDataは、人間の介入を最小限にする必要のある、自動Webデータ収集のための新しいマルチエージェントシステムである。 Instruct2DSは、学術、金融、スポーツの3つの領域にわたるWebソースからのライブデータ収集をサポートする新しいベンチマークデータセットである。
  論文  参考訳（メタデータ） (2025-05-21T04:32:35Z)
• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• Making Sense of Data in the Wild: Data Analysis Automation at Scale [0.1747623282473278]
  本稿では,インテリジェントエージェントと検索拡張生成を組み合わせることで,データ解析,データセットキュレーション,インデックス作成を大規模に自動化する手法を提案する。 提案手法により,より詳細なデータセット記述,より高いヒット率,データセット検索タスクの多様性が得られた。
  論文  参考訳（メタデータ） (2025-01-27T10:04:10Z)
• DataFinder: Scientific Dataset Recommendation from Natural Language Descriptions [100.52917027038369]
  我々は、短い自然言語記述を与えられたデータセットを推奨するタスクを運用する。 この作業を容易にするために、我々は、より大規模な自動構築トレーニングセットと、より少ない専門家によるアノテート評価セットからなるDataFinderデータセットを構築した。 このシステムは、DataFinderデータセットに基づいてトレーニングされ、既存のサードパーティのデータセット検索エンジンよりも関連性の高い検索結果を見つける。
  論文  参考訳（メタデータ） (2023-05-26T05:22:36Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning [55.32009000204512]
  PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。 具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。 また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
  論文  参考訳（メタデータ） (2020-03-12T03:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。