論文の概要: From Intent to Improvement: Agentic Dataset Search for Better Model Training
- arxiv url: http://arxiv.org/abs/2610.39608v1
- Date: Thu, 29 Oct 2026 08:42:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.064248
- Title: From Intent to Improvement: Agentic Dataset Search for Better Model Training
- Title(参考訳): インテントから改善へ:より良いモデルトレーニングのためのエージェントデータセット検索
- Abstract要約: 本稿では,機械学習検索のための契約統治型エージェントフレームワークであるAgenticDSを提案する。
AgenticDSは、決定論的コードがそれを消費する前に、型付きオブジェクトをインスタンス化する。
200クエリの新しいベンチマークであるHuDS-Benchでは、AgenticDSは、強い密度の疎ハイブリッドよりもNDCG@10を25.7%改善している。
制御されたサーチ・ツー・トレインの研究は、取得したデータセットが、数学、コード、医学において最高の下流の精度を与えることを示している。
- 参考スコア(独自算出の注目度): 10.287563477285788
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Finding training data in million-scale machine learning repositories is a Web search problem where text relevance is not enough. A query couples a semantic training goal with constraints such as task, license, and training stage, and the metadata that would verify them are often missing. Text retrieval ranks dataset cards by similarity but cannot enforce hard constraints or follow the relations that reach a sparsely described dataset. Free-form tool-calling agents are more flexible, but the same model that picks a dataset also declares it a match, and nothing checks that the query's constraints are actually met. Neither approach establishes that the data it returns will improve model training. To address it, we propose AgenticDS, a contract-governed agentic framework in which every language model decision instantiates a typed object before deterministic code consumes it. The framework compiles a query into a typed search plan, executes it through admissible deterministic operators over hybrid retrieval and bounded graph expansion, and verifies the provenance-grounded evidence before accepting a ranking or emitting a typed diagnosis that permits only local repairs. On HuDS-Bench, a new benchmark of 200 queries with 24,908 graded judgments pooled over 15 systems, AgenticDS improves NDCG@10 by 25.7\% over the strongest dense--sparse hybrid and by 18.9\% over a commercial LLM agent. A controlled search-to-train study further shows that the datasets it retrieves give the best downstream accuracy in mathematics, code, and medicine. Code and data are publicly available at https://github.com/nju-websoft/AgenticDS.
- Abstract(参考訳): 何百万もの機械学習リポジトリでトレーニングデータを見つけることは、テキストの関連性が不十分なWeb検索問題である。
クエリは、タスク、ライセンス、トレーニングステージといった制約とセマンティックなトレーニング目標を結合する。
テキスト検索は、類似度でデータセットカードをランク付けするが、厳密な制約を強制したり、わずかに記述されたデータセットに到達した関係に従うことはできない。
フリーフォームのツールコールエージェントはより柔軟だが、データセットを選択するのと同じモデルでもマッチを宣言しており、クエリの制約が実際に満たされていることをチェックするものはない。
いずれのアプローチも、返したデータがモデルのトレーニングを改善することを証明していない。
本稿では,AgenticDSを提案する。AgenticDSは,決定論的コードがそれを消費する前に,すべての言語モデル決定が型付きオブジェクトをインスタンス化する,契約統治型エージェントフレームワークである。
このフレームワークは、クエリを型付き検索計画にコンパイルし、ハイブリッド検索および有界グラフ拡張に関する許容決定論的演算子を介して実行し、その証明された証拠を検証し、ランキングを受け入れるか、局所的な修理のみを許可する型付き診断を発行する。
HuDS-Benchは、24,908グレードの判定が15のシステムにプールされた200のクエリのベンチマークである。AgenicDSは、最強の高密度スパースハイブリッドより NDCG@10 を 25.7 %、商用のLLMエージェントより 18.9 % 改善している。
制御されたサーチ・ツー・トレインの研究では、取得したデータセットが、数学、コード、医学において最高の下流の精度を与えることを示している。
コードとデータはhttps://github.com/nju-websoft/AgenticDSで公開されている。
関連論文リスト
- CaliMem: Search-Efficient Data Agent via Calibrated Memory [23.152204594760704]
有効なキュレーションは、データレシピを自動検索する動機付けとして、下流の設定に適応する必要があることを示す。
本稿では,キャリブレーションメモリのエージェントループであるCaliMemを紹介する。
これにより、エージェントの信念は検証可能となり、過剰な一般化を減らし、より効果的な長期探査を支援する。
論文 参考訳(メタデータ) (2026-10-25T18:55:44Z) - PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design [52.60302464420127]
そこで我々はPRISMを提案する。PRISMは、特権情報を用いて学習することで、同一コーパスからクエリごとの信号を復元する。
PRISMは6つの異なるベンチマークで、トポロジ設計のベースラインを評価している。
論文 参考訳(メタデータ) (2026-09-29T17:22:16Z) - Automating Formal Verification with Agent-Guided Tree Search [0.0]
形式的検証は、ソフトウェアを確実に修正する道を提供するが、検証済みのコードを書くのに十分な費用がかかるため、本番ではほとんど使われない。
最近のベンチマークでは、仕様をコードに変換する能力と、マシンチェックによる正確さの反復を計測している。
この論文は、リーンにおけるLCM駆動による検証コード生成の状況を評価し、パフォーマンスを改善するための検索ベースの手法を開発する。
論文 参考訳(メタデータ) (2026-05-26T14:50:47Z) - GDS Agent for Graph Algorithmic Reasoning [0.0]
本稿では,GDS (Graph Data Science) エージェントについて紹介する。
GDSエージェントは、アルゴリズム結果の事前処理(検索)と後処理とともに、グラフアルゴリズムの包括的なセットをツールとして導入する。
その結果、GDSエージェントは幅広いグラフタスクを解くことができることがわかった。
論文 参考訳(メタデータ) (2025-08-28T10:35:44Z) - Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。
文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。
モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
論文 参考訳(メタデータ) (2025-06-13T18:08:54Z) - On the Necessity of World Knowledge for Mitigating Missing Labels in Extreme Classification [17.309987565818577]
Extreme Classification (XC) は、クエリを非常に大きなドキュメントセットから最も関連性の高いドキュメントにマッピングすることを目的としている。
我々は、体系的なラベルの欠落が知識の欠如を招き、クエリとドキュメント間の関連性を正確にモデル化するために重要であることを観察する。
SKIMは、小さいLMと豊富な非構造化メタデータの組み合わせを利用して、欠落ラベル問題を効果的に軽減するアルゴリズムである。
論文 参考訳(メタデータ) (2024-08-18T20:08:42Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。