論文の概要: CaliMem: Search-Efficient Data Agent via Calibrated Memory
- arxiv url: http://arxiv.org/abs/2610.34500v1
- Date: Sun, 25 Oct 2026 18:55:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.625847
- Title: CaliMem: Search-Efficient Data Agent via Calibrated Memory
- Title（参考訳）: CaliMem: キャリブレーションメモリによる検索効率の良いデータエージェント
- Abstract要約: 有効なキュレーションは、データレシピを自動検索する動機付けとして、下流の設定に適応する必要があることを示す。
本稿では,キャリブレーションメモリのエージェントループであるCaliMemを紹介する。
これにより、エージェントの信念は検証可能となり、過剰な一般化を減らし、より効果的な長期探査を支援する。
- 参考スコア（独自算出の注目度）: 23.152204594760704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data curation is a first-order design choice in machine learning, yet tailoring training data to a downstream model and task remains costly in labor, expertise, and compute. Datasets are therefore often processed through fixed pipelines and reused across applications. We show that this assumption is fragile: across 55 dataset--model tasks spanning biological domains, the same curation recipe can help one model while hurting another. Effective curation must adapt to the downstream setting, motivating automated search over data recipes. We first build an agentic system that searches for curation policies at deployment, improving data utility via \textit{test-time curation (TTC)}. Although achieving performance gains, its search is driven largely by recent feedback and remains local. Adding persistent memory helps the agent retain evidence across iterations and reveals a deeper problem: it forms claims that extend beyond the conditions in which they were observed, sometimes abandoning an entire strategy after a single unsuccessful trial. To address this problem, we introduce CaliMem, a calibrated-memory agentic loop that requires the agent to predict the outcome of each proposed policy before executing it. Comparing this prediction with the observed result gives the agent a \textit{reality check} on the claims behind its proposal. It uses the prediction error to retain supported claims, revise mistaken ones, and specify the conditions under which a conclusion holds. This makes the agent's beliefs testable, reduces overgeneralization, and supports more effective long-horizon exploration. Across biological and LLM post-training tasks, CaliMem consistently outperforms fixed curation baselines and published methods, and exceeds full-data training by up to 19.4\%. Code is open-sourced.
- Abstract（参考訳）: データキュレーションは、機械学習において第一級の設計選択であるが、トレーニングデータを下流モデルに調整し、タスクは労働、専門知識、計算にコストがかかる。
そのため、データセットは固定パイプラインを通じて処理され、アプリケーション間で再利用されることが多い。
55のデータセット-モデルタスクが生物学的ドメインにまたがって、同じキュレーションレシピが、別のモデルを傷つけながら、ひとつのモデルに役立つことが示されています。
効果的なキュレーションは下流の設定に適応し、データレシピの自動検索を動機付けなければならない。
まず、デプロイ時にキュレーションポリシーを検索し、 \textit{test-time curation (TTC) を通じてデータユーティリティを改善するエージェントシステムを構築した。
パフォーマンスの向上は達成しているが、検索は最近のフィードバックに大きく左右され、ローカルに留まっている。
永続的な記憶を加えることは、エージェントが反復の証拠を保持し、より深い問題を明らかにするのに役立つ。
この問題に対処するために、キャリブレーションされたメモリエージェントループであるCaliMemを導入する。
この予測と観測結果を比較すると、エージェントはその提案の裏にあるクレームに関する \textit{reality check} が得られる。
予測エラーを使用して、支持されたクレームを保持し、間違ったクレームを修正し、結論が成立する条件を指定する。
これにより、エージェントの信念は検証可能となり、過剰な一般化を減らし、より効果的な長期探査を支援する。
生物学的およびLLMのポストトレーニングタスク全体で、CaliMemは固定されたキュレーションベースラインと公開メソッドを一貫して上回り、最大19.4\%のフルデータトレーニングを達成している。
コードはオープンソースである。
関連論文リスト
- AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。
我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。
AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
論文 参考訳（メタデータ） (2026-10-23T19:46:55Z) - Towards Reliable AI Data Scientists: Data Agents with Workflow Harnesses [20.26490593131383]
データエージェントと関連するデータ環境の分類を導入し,5つの機能段階の文献を整理する。
我々は,各ステージにおける重要な技術経路を分析し,データ構造からデータ状態の再構築に至るまで,15の異なるアプローチを特定した。
データエージェントの水平タスクファミリを要約し、それらの垂直アプリケーション設定と評価のためのベンチマークについて検討する。
論文 参考訳（メタデータ） (2026-09-28T14:19:30Z) - AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop? [62.41600992806851]
エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。
既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。
AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
論文 参考訳（メタデータ） (2026-09-28T12:24:21Z) - CaSKG: Counterfactual-Causal Skill Graphs for Scalable Agent Skill Retrieval [20.44841712209369]
CaSKGは、検索前に手続き関係を校正するスキルグラフフレームワークである。
モデルとベンチマークの12つの組み合わせの中で、最も高いタスクスコアを達成します。
論文 参考訳（メタデータ） (2026-08-26T08:12:41Z) - RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement [27.641105176473136]
既存のベンチマークは、最適化、サービス、評価、システム実装と研究上の決定を結びつける。
我々は、LLMエージェントのベンチマークであるRSIBench-Dataを、固定された後学習スタックを持つデータ中心の研究者として紹介する。
ソフトウェア工学,端末利用,科学的質問応答,数学の6つのベンチマークで,フロンティアエージェントを4つ評価した。
論文 参考訳（メタデータ） (2026-07-28T15:46:41Z) - Can Generalist Agents Automate Data Curation? [58.652262227632406]
トレーニングデータのキュレーションは、現代のAI開発において、もっとも重要だが労働集約的な部分のひとつだ。
一般のコーディングエージェントがこのデータキュレーションループを自動化できるかどうかを問う。
モデル、トレーニングレシピ、評価スイートを修正するエージェント中心のベンチマークである*Curation-Bench*を紹介します。
論文 参考訳（メタデータ） (2026-06-02T22:26:53Z) - Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。
文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。
モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
論文 参考訳（メタデータ） (2025-06-13T18:08:54Z) - Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft
Prompting and Calibrated Confidence Estimation [56.57532238195446]
本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。
メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。
我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
論文 参考訳（メタデータ） (2023-07-10T08:03:41Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。