論文の概要: Beyond Solution-Centric Search: Adaptive Inquiry and Knowledge Revision for Autonomous ML Engineering
- arxiv url: http://arxiv.org/abs/2608.02143v1
- Date: Mon, 03 Aug 2026 12:28:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.546083
- Title: Beyond Solution-Centric Search: Adaptive Inquiry and Knowledge Revision for Autonomous ML Engineering
- Title(参考訳): ソリューション中心探索を超えて - 自律MLエンジニアリングのための適応的質問と知識修正
- Abstract要約: 機械学習工学のような長期にわたる自律的な研究タスクは、限られた予算の下で相互依存的な決定を行うシステムを必要とする。
我々はこの設計をソリューション中心探索と呼び、その代わりに情報パラダイムを提案し、進化する情報状態がタスクに対するシステムの理解を表現し、ソリューション改善を導く。
我々は、このパラダイムを調査・改訂ループであるIrisでインスタンス化する。情報取得には、現在の情報状態から局所的なアクションプランを生成し、保存されたソリューションを変更することなく、認識的アクションを用いて決定クリティカルな未知を探索する。
情報管理のために、Irisは実験を通した観察結果を、修正可能なクレームからなるタスク知識に合成する
- 参考スコア(独自算出の注目度): 13.823047339505385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon autonomous research tasks such as machine learning engineering require systems to make interdependent decisions under a limited budget. Existing LLM-based agents typically organize candidate-solution improvement through tree, graph, or chain structures, meaning that the search process determines how information is acquired and managed. We call this design solution-centric search and propose instead the information paradigm, in which an evolving information state represents the system's understanding of the task and guides solution improvement. We instantiate this paradigm in Iris, an inquiry-revision loop. For information acquisition, Iris generates local action plans from the current information state and uses epistemic actions to probe decision-critical unknowns without modifying the retained solution. For information management, Iris synthesizes observations across experiments into task knowledge composed of revisable claims with explicit scope and status. It updates this knowledge as new evidence arrives and constructs each decision context from raw evidence, structured summaries, or task knowledge at the required level of detail. On MLE-Bench, Iris attains a 64.9% any-medal rate under a 12-hour budget, the highest among compared systems. Across four tasks spanning harness engineering and model post-training, Iris also demonstrates cross-domain generalization.
- Abstract(参考訳): 機械学習工学のような長期にわたる自律的な研究タスクは、限られた予算の下で相互依存的な決定を行うシステムを必要とする。
既存のLLMベースのエージェントは、一般的に木、グラフ、チェーン構造を通して候補解決の改善を組織する。
我々はこの設計をソリューション中心探索と呼び、その代わりに情報パラダイムを提案し、進化する情報状態がタスクに対するシステムの理解を表現し、ソリューション改善を導く。
我々はこのパラダイムを、調査と修正のループであるIrisでインスタンス化する。
情報取得のため、アイリスは現在の情報状態から局所的な行動計画を生成し、保存されたソリューションを変更することなく、決定クリティカルな未知を探索するために疫学的行動を使用する。
情報管理のために、アイリスは実験を横断する観察結果を、明示的なスコープとステータスを持つ変更可能なクレームからなるタスク知識に合成する。
この知識は、新たな証拠が到着し、必要な詳細レベルで、生の証拠、構造化された要約、タスク知識から、各決定コンテキストを構築することで更新される。
MLE-Benchでは、アイリスは12時間の予算で64.9%の医療率を獲得し、比較されたシステムの中では最高である。
ハーネスエンジニアリングとモデルポストトレーニングの4つのタスクにまたがるIrisでは、クロスドメインの一般化もデモしている。
関連論文リスト
- Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft [70.0241202837925]
我々はMinecraftベースのベンチマークであるSciCrafterを紹介した。
GPT-5.2, Gemini-3-Pro, Claude-Opus-4.5などのフロンティアモデルを汎用コードエージェントの足場下で評価した。
我々の分析によると、一般的な知識応用能力は依然として全てのモデルで最大のギャップであり続けているが、フロンティアモデルでは、知識ギャップの識別が大きなハードルになりつつある。
論文 参考訳(メタデータ) (2026-04-27T16:58:04Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳(メタデータ) (2026-02-09T11:44:15Z) - A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。
本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
論文 参考訳(メタデータ) (2025-10-10T06:56:50Z) - DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router [57.28685457991806]
DeepSieveはエージェントRAGフレームワークで、LLM-as-a-knowledge-routerを介して情報を収集する。
我々の設計はモジュール性、透明性、適応性を重視しており、エージェントシステム設計の最近の進歩を活用している。
論文 参考訳(メタデータ) (2025-07-29T17:55:23Z) - InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。
本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。
本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
論文 参考訳(メタデータ) (2025-05-21T14:44:40Z) - Knowledge-Aware Iterative Retrieval for Multi-Agent Systems [0.0]
本稿では,新しい大規模言語モデル (LLM) によるエージェントフレームワークを提案する。
動的に進化する知識を活用することで、クエリを反復的に洗練し、文脈的証拠をフィルタリングする。
提案システムは、更新されたコンテキストの競合的および協調的な共有をサポートする。
論文 参考訳(メタデータ) (2025-03-17T15:27:02Z) - AVIS: Autonomous Visual Information Seeking with Large Language Model
Agent [123.75169211547149]
本稿では,視覚的質問応答フレームワークAVISを提案する。
本手法は,LLM(Large Language Model)を利用して外部ツールの利用を動的に強化する。
AVIS は Infoseek や OK-VQA などの知識集約型視覚質問応答ベンチマークの最先端結果を達成する。
論文 参考訳(メタデータ) (2023-06-13T20:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。