論文の概要: TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
- arxiv url: http://arxiv.org/abs/2608.26086v2
- Date: Thu, 27 Aug 2026 21:22:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 15:11:36.085585
- Title: TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
- Title（参考訳）: TraceML: 機械学習開発におけるヒューマンエージェントプランニングの実証分析
- Abstract要約: TraceMLは、人間とエージェントのペアで、1つのバージョンレベルのスキーマの下で同じ競合に取り組みます。
すべてのコードバージョンはスコア、タイムスタンプ、アクションのラベル、意図、編集サイズ、スコア効果を持っている。
- 参考スコア（独自算出の注目度）: 37.08099664563133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models write correct code for isolated problems but remain far weaker at autonomous machine-learning development, where an agent must revise data pipelines, models, and validation over hours of feedback, and on most competitions still finishes below strong human competitors. Outcome-based benchmarks record this gap but not its cause, because they grade the final submission and discard the development process behind it. We introduce TraceML, which pairs human and agent work on the same competitions under one version-level schema: 4,465 human Kaggle trajectories across 134 competitions, seven of which are also worked by two agent scaffolds, giving 430 paired human and 207 agent trajectories. Every code version carries its score, its timestamp, and labels for the action taken, its intent, the edit size, and the score effect. Read this way, the gap becomes concrete. Experts alternate data work, validation, model changes, and ensembling, and return to approaches they had set aside. Each agent scaffold instead collapses into a narrow loop: Codex spends its steps re-weighting ensembles and tuning submissions, MLEvolve mutates its model in place, and neither pivots at the human rate nor reopens abandoned work. A short planning prompt distilled from human practice moves the behaviors it names toward the human profile and lifts scores, but the effort profile stays agent-shaped: instruction closes only the part of the gap that reduces to instructions. We release the corpus, the schema, the labelers, and the extraction pipeline at https://huggingface.co/datasets/jerryyan/TraceML.
- Abstract（参考訳）: 大きな言語モデルは、孤立した問題に対して正しいコードを書くが、エージェントが数時間のフィードバックでデータパイプライン、モデル、バリデーションを変更しなければならない自律的な機械学習開発において、はるかに弱いままである。
アウトカムベースのベンチマークはこのギャップを記録できるが、その原因ではない。
我々は、TraceMLを紹介します。これは、1つのバージョンレベルのスキーマの下で、人間とエージェントが同じコンペティションで作業するペアで、134のコンペティションで4,465人のKaggleトラジェクトリを使用し、そのうち7人は2つのエージェントスキャフォールドで作業し、430人のペアの人間と207人のエージェントのトラジェクトリを提供します。
すべてのコードバージョンはスコア、タイムスタンプ、アクションのラベル、意図、編集サイズ、スコア効果を持っている。
このようにして、ギャップは具体化します。
専門家はデータ処理、検証、モデル変更、アンサンブルを交互に行い、設定したアプローチに戻る。
コーデックスはアンサンブルを再重み付けし、提案をチューニングし、MLEvolveはそのモデルをその場で変更し、人間の速度でピボットしたり、放棄された作業を再開したりしない。
人間の実践から抽出された短い計画のプロンプトは、名前のついた動作を人間のプロファイルに移動させ、スコアを引き上げるが、努力プロファイルはエージェント型のままであり、指示は指示に還元されるギャップの一部だけを閉じる。
コーパス、スキーマ、ラベル、抽出パイプラインをhttps://huggingface.co/datasets/jerryyan/TraceMLでリリースします。
関連論文リスト
- Procedural Graphs: Self-Evolving Execution Structures for LLM Agents [11.810729293911622]
手続きグラフ(Procedural Graph)は、手続き的知識を、何を問うかのトリプル(手続き、関係、手続き)に整理する。
各決定ステップにおいて、フレームワークはエージェントのアクティブノードをローカライズし、ガイダンスモデルは周辺のサブグラフをステップレベルの状況ガイダンスに変換する。
LLM精製器は失敗した軌跡と成功した軌跡を対比し、グラフの位相と属性を編集する。
論文 参考訳（メタデータ） (2026-09-08T17:59:41Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - What Makes a Good Bug Report for an AI Agent? [8.139494830308486]
エージェントのための良いバグレポートは、重複するが、人間にとって良い報告ではない。
修正提案、複製スクリプト、リポジトリのソースコード、ローカライゼーション情報は、高い解像度の確率に関連付けられている。
人間の読者にとって長年強調されてきたいくつかの特質、例えば、自然言語のステップで読みやすい記述を再現し、より少ない成功にはほとんど寄与しないか、あるいは相関している。
論文 参考訳（メタデータ） (2026-07-08T16:13:15Z) - Latent Programming Horizons in Coding Agents [6.8463578914435645]
ソフトウェアエンジニアリングタスクを解決するコーディングエージェントは、コードの推論、編集、テストの実行に数十ステップを費やしている。
符号化エージェントによる言語モデルの残余ストリームは、進化するプログラムの特性を線形にエンコードすることを示す。
将来の編集結果を予測するために訓練されたプローブは、パフォーマンスを最大25ステップまで向上させる。
論文 参考訳（メタデータ） (2026-07-06T15:08:26Z) - Agent trajectories as programs: fingerprinting and programming coding-agent behavior [0.49316866264940024]
ベンチマークスコアは、エージェントが正しいことを教えてくれます。
本研究では,モデル,タスク,アプローチが異なる状況下で,エージェントを手続き的に比較する手法を提案する。
これらの手続き的シグネチャに対する調査では、正しいエージェントに対して85.7%の精度で見当たらない軌跡があり、タスク間のリークを制御している。
論文 参考訳（メタデータ） (2026-06-15T17:28:41Z) - How to Interpret Agent Behavior [56.59836196946289]
本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。
共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
論文 参考訳（メタデータ） (2026-05-13T14:52:40Z) - Tricky$^2$: Towards a Benchmark for Evaluating Human and LLM Error Interactions [11.687400527666476]
Tricky$2$は、GPT-5プログラムとOpenAI-oss-20bプログラムの両方で注入されたエラーで、既存のTickyBugsコーパスを人書きの欠陥で強化するハイブリッドデータセットである。
提案手法では,ヒトの欠陥やプログラム構造を保存しながら,分類誘導型プロンプトフレームワークを用いて機械操作によるバグを発生させる。
得られたコーパスは、人間のみ、LLMのみ、および人間+LLM分割にまたがり、混在するエラー挙動、複数バグの修復、ハイブリッドなヒューマンマシンコードの信頼性の分析を可能にする。
論文 参考訳（メタデータ） (2026-01-26T20:41:16Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳（メタデータ） (2025-10-16T05:35:37Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Machine-generated text detection prevents language model collapse [16.73923337828054]
我々は,機械生成テキスト検出器を訓練し,モデル崩壊を防止するために重要な再サンプリング手法を提案する。
モデル崩壊を防ぐだけでなく、純粋に人間のデータに対するトレーニングに比べて性能も向上することを示した。
論文 参考訳（メタデータ） (2025-02-21T18:22:36Z) - MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。
MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
論文 参考訳（メタデータ） (2024-12-02T19:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。