論文の概要: DataSense-Bench: The First Step Toward an AI Scientist

• arxiv url: http://arxiv.org/abs/2610.12190v1
• Date: Thu, 08 Oct 2026 15:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.142092
• Title: DataSense-Bench: The First Step Toward an AI Scientist
• Title（参考訳）: DataSense-Bench:AI科学者への第一歩
• Abstract要約: フロンティアAIモデルは、トレーニング用の適切なデータ、すなわち、確実に選択できるデータを持っているか? 我々は,機械学習におけるデータ選択と性能予測の根本的な問題を通じて,この能力を研究するためにDataSense-Benchを紹介した。
• 参考スコア（独自算出の注目度）: 33.53152581612297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As claims about recursive self-improvement (RSI) and artificial general intelligence (AGI) proliferate, we ask a simple question: do frontier AI models have a sense of data, i.e., can they reliably select the right data for training? We introduce DataSense-Bench to study this capability through the fundamental problem of data selection and performance forecasting in machine learning. We ask AI agents to select and rank candidate training subsets that can be used to fine-tune a small LLM model. Agents are allowed to inspect the data, write and execute analysis code, and run model forward passes, but can not train the model or access the actual evaluation tasks. We then fine-tune the base model on each selected subset and evaluate its post-training performance under a standardized protocol. We instantiate the benchmark in terminal problem solving and tool use, selecting trajectories from OpenThoughts-Agent and EnvScaler and evaluating on TBLite and BFCL, respectively. We then evaluate the agents along two complementary dimensions: the post-training performance of the top-ranked subset, reflecting the ability to identify high-value training data, and ranking accuracy, reflecting the ability to predict the relative performance of the selected subsets. In our experiments, selection gains over random selection are limited; agents do not reliably rank their selected groups, and ranking ability does not hold consistently across tasks: Astra identifies the best group in all three tool-use runs but in only one of three terminal runs. Analysis of execution traces on both tasks shows that agents often use similar data signals while interpreting their training value differently.
• Abstract（参考訳）: 再帰的自己改善(RSI)と人工知能(AGI)の普及に関する主張として、我々は単純な質問に答える:フロンティアAIモデルはデータ感覚を持っているか、すなわち、トレーニングのために適切なデータを選択することができるか? 我々は,機械学習におけるデータ選択と性能予測の根本的な問題を通じて,この能力を研究するためにDataSense-Benchを紹介した。 我々はAIエージェントに、小さなLLMモデルを微調整できる候補トレーニングサブセットの選択とランク付けを依頼する。 エージェントはデータを検査し、分析コードを書き、実行し、モデルフォワードパスを実行することができるが、モデルのトレーニングや実際の評価タスクへのアクセスはできない。 次に、選択したサブセットのベースモデルを微調整し、標準化されたプロトコルでトレーニング後の性能を評価する。 終端問題解決とツール使用のベンチマークをインスタンス化し,OpenThoughts-Agent と EnvScaler からトラジェクトリを選択し,それぞれ TBLite と BFCL を用いて評価する。 次に、上位サブセットのトレーニング後性能、高価値トレーニングデータを特定する能力、選択したサブセットの相対性能を予測する能力を反映したランキング精度の2つの相補的な側面に沿ってエージェントを評価する。 エージェントは、選択したグループを確実にランク付けせず、ランク付け能力は、タスク全体にわたって一貫して保持されない。 両方のタスクにおける実行トレースの分析は、エージェントがトレーニング値が異なる解釈をしながら、よく似たデータ信号を使用することを示している。

関連論文リスト

• AutoDataBench: A Data-centric Testbed for Accelerating Auto Research [46.749974338248336]
  既存の自動検索ベンチマークは、しばしば複数の改善の源を絡み合わせる。 本研究では、モデル能力を形成するデータを理解し、操作し、改善するエージェントの能力である、データインテリジェンスを評価する。 データ診断、データ組織、データ構築にまたがるデータインテリジェンスの概念的なフレームワーク上に構築されたテストベッドであるAutoDataBenchを紹介します。
  論文  参考訳（メタデータ） (2026-09-30T16:33:24Z)
• AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop? [62.41600992806851]
  エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。 既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。 AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
  論文  参考訳（メタデータ） (2026-09-28T12:24:21Z)
• AutoData: Agentic Search for Pre-training Data Selection [22.76955128141555]
  本稿では,メトリック選択アルゴリズムを直接検索するエージェントであるAutoDataを紹介する。 一晩で検索すると、AutoDataは既存の人間設計パイプラインよりも優れた選択アルゴリズムを発見する。 これらの結果は,データ工学をエージェント機械学習問題として扱うことができることを示唆している。
  論文  参考訳（メタデータ） (2026-09-17T06:24:52Z)
• RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement [27.641105176473136]
  既存のベンチマークは、最適化、サービス、評価、システム実装と研究上の決定を結びつける。 我々は、LLMエージェントのベンチマークであるRSIBench-Dataを、固定された後学習スタックを持つデータ中心の研究者として紹介する。 ソフトウェア工学,端末利用,科学的質問応答,数学の6つのベンチマークで,フロンティアエージェントを4つ評価した。
  論文  参考訳（メタデータ） (2026-07-28T15:46:41Z)
• DataMaster: Data-Centric Autonomous AI Research [51.95819363392062]
  タスク条件付き自律データエンジニアリングについて検討し、エージェントがデータ側のみを最適化することで、固定学習アルゴリズムを改善する。 木構造検索,共有候補データ,累積メモリを統合したデータエージェントフレームワークであるDataMasterを提案する。 MLE-Bench LiteとPostTrainBenchの2種類のベンチマークでDataMasterを評価する。
  論文  参考訳（メタデータ） (2026-05-11T17:46:24Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。