論文の概要: Assembling Insights for Agentic Machine Learning Engineering Systems

• arxiv url: http://arxiv.org/abs/2610.04927v1
• Date: Sun, 04 Oct 2026 04:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 07:52:24.158954
• Title: Assembling Insights for Agentic Machine Learning Engineering Systems
• Title（参考訳）: エージェント機械学習工学システムのための組み立て指針
• Abstract要約: Agentic Machine Learning Engineering (MLE)は、複雑なMLタスクのためのAI4SEアプリケーションである。 本研究は,MLEタスクからの洞察がエージェントMLEシステムに与える影響と,その影響がインサイトタイプやインジェクション方法に依存するかを検討する。
• 参考スコア（独自算出の注目度）: 2.690990685736905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic machine learning engineering (MLE) is an emerging AI4SE application for complex ML tasks and a step toward recursive self-improvement of AI systems. Recent agentic MLE systems show the value of leveraging insights from related MLE tasks: some systems condition code generation on expert domain knowledge, which is implicitly curated from peer MLE tasks; some systems have a loop of solving an MLE task, gathering memory to benefit future tasks. However, insight collection and injection remain ad hoc, and existing evaluations often do not control insight sources, making data leakage a threat to validity. To close these gaps, we systematically study how insights from related MLE tasks affect agentic MLE systems, and how their impact depends on insight type and injection method. We introduce MLE-InsightBench, a benchmark of 160 Kaggle competitions across 12 domains. To prevent leakage, one competition per domain is held out as the target, while the remaining 148 serve as sources only when they cannot have been influenced by the target task, such as through later editions or reused solutions. We also develop MLE-InsightForge, an insight assembly agent that explores source competitions, top human solutions, and writeups to construct three insight types: 12 domain insights summarizing best practices, 148 competition insights describing winning solutions, and 16 improvement insights capturing generic debugging and optimization strategies. These insights are injected either as on-demand skills or as an upfront playbook. In our evaluation, the extracted insights improve the normalized private-test score by 123.9% over a no-insight baseline. Controlled experiments further show that the three insight types are complementary; the better injection mode (skill vs. playbook) varies by tasks, with skills more cost-effective overall; and the gains generalize across backend LLMs.
• Abstract（参考訳）: Agentic Machine Learning Engineering (MLE)は、複雑なMLタスクのためのAI4SEアプリケーションであり、AIシステムの再帰的な自己改善へのステップである。 最近のエージェントMLEシステムは、関連するMLEタスクからの洞察を活用する価値を示している: エキスパートドメイン知識に基づくシステム条件コード生成は、ピアMLEタスクから暗黙的にキュレートされる; 一部のシステムは、MLEタスクを解決し、将来のタスクのためにメモリを集めるループを持っている。 しかし、インサイト収集とインジェクションは相変わらず、既存の評価ではインサイトソースを制御できないことが多く、データ漏洩は有効性に対する脅威となる。 これらのギャップを埋めるために、我々は、関連するMLEタスクからの洞察がエージェントMLEシステムにどのように影響するか、そしてそれらの影響がインサイトタイプやインジェクション方法にどのように依存するかを体系的に研究する。 MLE-InsightBenchは、12ドメインにわたる160のKaggleコンペティションのベンチマークである。 リークを防止するため、ドメイン毎に1つの競合をターゲットとして保持し、残りの148は、後続のエディションや再利用ソリューションなど、ターゲットタスクの影響を受けない場合にのみソースとして機能する。 MLE-InsightForgeは、ソースコンペティション、トップヒューマンソリューション、ライトアップを探索して、ベストプラクティスを要約する12のドメインインサイト、148のコンペティションインサイト、ジェネリックデバッギングと最適化戦略をキャプチャする16の改善インサイトである。 これらの洞察は、オンデマンドスキルまたは事前のプレイブックとして注入される。 本評価では,非監視ベースラインよりも正常化プライベートテストスコアが123.9%向上した。 より優れたインジェクションモード(スキル対プレイブック)はタスクによって異なり、全体的なコスト効率が向上する。

関連論文リスト

• Overview of the TREC 2025 Million Large Language Models track [34.65286973765269]
  エージェントAIは、人間の介入を最小限に抑えて複雑なタスクを協調的に解決するインテリジェントエージェントのエコシステムを構想する。 本稿では,モデルの観測可能な振る舞いを調べることによって,アシスタントエージェントが専門知識を動的に推論する検索に基づくパラダイムを提案する。 TREC Million LLM Trackは、検索対象をドキュメントからエキスパートLLMにシフトすることで、このパラダイムを運用する。
  論文  参考訳（メタデータ） (2026-09-25T19:11:10Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• Empowering RepoQA-Agent based on Reinforcement Learning Driven by Monte-carlo Tree Search [70.63903518295785]
  モンテカルロ木探索によるエージェント強化学習フレームワークRepoSearch-R1を紹介する。 RepoSearch-R1に基づいて,リポジトリ質問応答タスク用に設計されたRepoQA-Agentを構築する。
  論文  参考訳（メタデータ） (2025-10-30T09:10:36Z)
• Multi-Agent Evolve: LLM Self-Improve through Co-evolution [53.00458074754831]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める大きな可能性を証明している。 近年のSelf-Play RL法は,ゲームやGoのパラダイムの成功に触発されて,人間に注釈を付けることなくLSM推論能力を向上することを目指している。 数学,推論,一般知識Q&Aなど多種多様な課題の解決において,LLMが自己発展できるフレームワークであるMulti-Agent Evolve(MAE)を提案する。
  論文  参考訳（メタデータ） (2025-10-27T17:58:02Z)
• AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems [28.38783951577184]
  AInsteinは、AI研究問題に対する有効なソリューションを、大規模言語モデルが生成できるかどうかをテストするためのフレームワークである。 受け入れ層により層状化された1,214 ICLR紙上でのAInsteinの評価を行った。
  論文  参考訳（メタデータ） (2025-10-06T22:50:41Z)
• How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
  マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。 本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。 IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
  論文  参考訳（メタデータ） (2025-08-28T15:57:33Z)
• Can Language Models Critique Themselves? Investigating Self-Feedback for Retrieval Augmented Generation at BioASQ 2025 [1.6819960041696331]
  RAGと「ディープリサーチ」システムは、大規模言語モデル(LLM)が反復的に出力を洗練する自律的な探索プロセスの実現を目的としている。 これらのシステムを、生物医学研究のようなドメイン固有の専門的な検索に適用することは、課題を提示する。 本研究では,この反復的自己補正によって性能が向上し,推論モデルがより有用なフィードバックを生成できるかどうかを検討した。
  論文  参考訳（メタデータ） (2025-08-07T13:13:19Z)
• Beyond the Known: Investigating LLMs Performance on Out-of-Domain Intent Detection [34.135738700682055]
  本稿では,ChatGPTで表される大規模言語モデル(LLM)を包括的に評価する。 LLMには強力なゼロショット機能と少数ショット機能があるが、フルリソースで微調整されたモデルに比べれば依然として不利である。
  論文  参考訳（メタデータ） (2024-02-27T07:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。