論文の概要: Automated Data Readiness for Scientific AI

• arxiv url: http://arxiv.org/abs/2607.02771v1
• Date: Thu, 02 Jul 2026 21:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.41898
• Title: Automated Data Readiness for Scientific AI
• Title（参考訳）: 科学AIのためのデータ準備の自動化
• Abstract要約: 我々は、科学データセットをAI対応データに変換するためのオープンソースのフレームワークREDIを紹介する。 気候の場合、Frontierの100ノードにほぼ理想の並列スケーリングを示す。 これらの結果は、科学AIのための自動データ準備を提供するクロスドメインプラットフォームとしてREDIを確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leadership computing facilities steward large-scale scientific datasets that routinely require substantial transformation before serving as AI training data. However, no existing framework fully unifies automated transformation, readiness assessment, provenance tracking, and agent-native deployment. We present REDI, an open-source framework that addresses this gap through a unified five-stage pipeline (ingest, preprocess, transform, structure, and output) with per-stage instrumentation for reproducibility and deployment as an agent-callable skill; companion tool SetGo automates FAIR compliance and catalog publication. Evaluated across climate, proteomics, materials science, and nuclear fusion, REDI transforms all datasets from raw to AI-ready, with outputs validated against domain-expert references, and preliminary results show near-ideal parallel scaling to 100 nodes on Frontier for the climate case. Provenance-instrumented profiling reveals file I/O as the dominant pipeline cost, with format selection a first-order optimization lever. These results establish REDI as a cross-domain platform providing automated data readiness for scientific AI, transforming data preparation bottlenecks into reproducible, reusable community assets.
• Abstract（参考訳）: リーダーシップコンピューティングの施設は、AIトレーニングデータとして機能する前に、定期的に実質的な変換を必要とする大規模な科学データセットを運営している。 しかしながら、自動トランスフォーメーション、準備性アセスメント、プロファイランストラッキング、エージェントネイティブデプロイメントを完全に統合する既存のフレームワークはない。 このギャップに対処するオープンソースフレームワークであるREDI(REDI)を、再現性とエージェントコール可能なスキルとしてのデプロイメントのためのステージ単位のインスツルメンテーションによって、統合された5段階パイプライン(インベスト、プリプロセス、トランスフォーメーション、構造、アウトプット)を通じて提供します。 気候、プロテオミクス、材料科学、核融合で評価され、REDIはすべてのデータセットを生からAI対応に変換し、ドメイン専門の参照に対して出力を検証する。 Provenance-Instrumented Profilingは、ファイルI/Oを主要なパイプラインコストとして明らかにし、フォーマットの選択は1次最適化レバーである。 これらの結果は、REDIを科学AIのための自動データ準備を提供するクロスドメインプラットフォームとして確立し、データ準備ボトルネックを再現可能な再利用可能なコミュニティ資産に変換する。

関連論文リスト

• DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams [48.434767119224375]
  本稿ではエージェントデータ処理へのパラダイムシフトを提案する。 このような高次の能力をトレーニングする際のデータ不足のボトルネックを克服するために、2段階のパイプラインを設計する。 $textDataClaw_0$-9B モデルは、グループ相対ポリシー最適化によるスーパービジョンファインチューニングをシナジする。
  論文  参考訳（メタデータ） (2026-06-19T11:31:43Z)
• DataEvolver: Automatic Data Preparation for Large Language Models through Multi-Level Self-Evolving [55.85201665674226]
  大規模言語モデル(LLM)には高品質なトレーニングデータが不可欠である 既存の自動データ準備手法は、事前に定義されたパイプラインやカスタマイズされた人間の指示に依存している。 我々は、パイプラインを自動的に構築して、生データを高品質なデータに変換する、最初の自己進化型データ準備システムであるDataEvolverを紹介する。
  論文  参考訳（メタデータ） (2026-06-05T07:44:34Z)
• kRAIG: A Natural Language-Driven Agent for Automated DataOps Pipeline Generation [0.5833117322405447]
  我々は、自然言語仕様をプロダクション対応KubeReason Pipelines(KFP)に変換するAIエージェントであるkRAIGを紹介する。 ユーザ意図の曖昧さを解決するために,パイプライン合成に先立って意図を明確に示すインタラクションフレームワークReQuesActを提案する。 本フレームワークは,最先端のエージェントベースラインと比較して,抽出とロードの精度が3倍向上し,変換精度が25%向上する。
  論文  参考訳（メタデータ） (2026-03-19T17:53:00Z)
• Dataforge: A Data Agent Platform for Autonomous Data Engineering [22.691284342164334]
  Data Agentは、表データに特化した完全に自律的なシステムである。 データクリーニング、階層的ルーティング、デュアルフィードバックループによる機能レベルの最適化を自動的に実行する。 自動、安全、非専門家フレンドリーという3つの基本原則を具現化し、人間の監督なしにエンドツーエンドの信頼性を保証する。
  論文  参考訳（メタデータ） (2025-11-09T01:58:13Z)
• Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents [85.02904078131682]
  本稿では,エージェントデータセット間の"インターリングア"として機能する軽量表現言語であるエージェントデータプロトコル(ADP)を紹介する。 ADPはAPI/ツールの使用、ブラウジング、コーディング、ソフトウェアエンジニアリング、一般的なエージェントなど、さまざまなタスクを捉えるのに十分な表現力を持っている。 すべてのコードとデータが公開され、ADPが標準化され、スケーラブルで再現可能なエージェントトレーニングの障壁を低くすることを期待している。
  論文  参考訳（メタデータ） (2025-10-28T17:53:13Z)
• A Survey of Data Agents: Emerging Paradigm or Overstated Hype? [66.1526688475023]
  現在「データエージェント」は用語的曖昧さと不整合性に悩まされている。 この調査では、データエージェントのための最初の体系的な階層型分類を紹介した。 プロアクティブな生成データエージェントの出現を想定する、先見的なロードマップで締めくくります。
  論文  参考訳（メタデータ） (2025-10-27T17:54:07Z)
• Data Readiness for Scientific AI at Scale [0.0]
  本稿では,AIのためのデータ準備性(DRAI)の原則が,基礎モデルのトレーニングに使用されるリーダーシップスケールの科学的データセットにどのように適用されるかを検討する。 我々は, 気候, 核融合, 生物・健康, 材料など, 4つの代表的な領域にわたる古細菌の分析を行った。 我々は、データ準備レベル(AI対応)とデータ処理ステージ(シャードに最も近い)からなる2次元準備性フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-07-30T18:30:37Z)
• Text embedding models can be great data engineers [0.0]
  テキスト埋め込みによる自動データエンジニアリングパイプラインであるADEPTを提案する。 ADEPTは、さまざまなデータセットセットにおいて、最も優れた既存のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-20T18:12:19Z)
• Zero-shot Composed Text-Image Retrieval [72.43790281036584]
  合成画像検索(CIR)の問題点を考察する。 テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
  論文  参考訳（メタデータ） (2023-06-12T17:56:01Z)
• Scalable Modular Synthetic Data Generation for Advancing Aerial Autonomy [2.9005223064604078]
  本稿では,自律飛行に適したスケーラブルなAerial Synthetic Data Augmentation (ASDA) フレームワークを提案する。 ASDAは、シーンとデータ拡張を自動的に実行する2つのスクリプト可能なパイプラインを備えた中央データ収集エンジンを拡張している。 多様なデータセットを自動生成する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-10T04:37:41Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。