論文の概要: An Experimental Design Approach to Evaluating Agentic AI's Autonomous Model Discovery

• arxiv url: http://arxiv.org/abs/2607.06413v1
• Date: Tue, 07 Jul 2026 15:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.578526
• Title: An Experimental Design Approach to Evaluating Agentic AI's Autonomous Model Discovery
• Title（参考訳）: エージェントAIの自律的モデル発見を評価するための実験的アプローチ
• Abstract要約: 大規模言語モデル符号化エージェントは、ますますオープンなデータモデリングと分析を行うようになっている。 この発見過程を評価するための実験的な設計・分析フレームワークを提案する。 本研究は, 推理効果の優位な方向を特徴付けるために, 実用性に整合した正準分解法を開発した。
• 参考スコア（独自算出の注目度）: 4.502708670326481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model coding agents increasingly perform open-ended data modeling and analysis. These agents are stochastic and adaptive, and therefore their autonomous model discovery behavior cannot be adequately characterized by a single benchmark run. In this work, we propose an experimental design and analysis framework for systematically evaluating this discovery process, quantifying its variability, and identifying important factors. The proposed framework treats these agents as stochastic model-discovery operators, which map task-specific discovery data and an optimization target to a fitted model. Specifically, we investigate two such operators, Codex and Claude Code, under controlled experimental factors including agent's reasoning effort, task, optimization metric, and composition of training data. For each agent-task-metric combination, regression models and inference are conducted for multiple responses such as output quality, dollar cost, wall-clock time, and process complexity. Furthermore, we develop a utility-aligned canonical decomposition to characterize the dominant direction of the reasoning-effort effect and to assess whether that direction aligns with a performance-cost utility direction. The proposed framework is demonstrated on a testbed of networked word-forming games with insightful findings on reasoning effort with respect to cost and process complexity.
• Abstract（参考訳）: 大規模言語モデル符号化エージェントは、ますますオープンなデータモデリングと分析を行うようになっている。 これらのエージェントは確率的かつ適応的であるため、それらの自律的なモデル発見動作は、単一のベンチマーク実行によって適切に特徴づけられません。 本研究では,この発見過程を体系的に評価し,その多様性を定量化し,重要な要因を同定する実験的な設計・分析フレームワークを提案する。 提案フレームワークは,これらのエージェントを確率的モデル探索演算子として扱い,タスク固有の発見データと最適化対象を適合モデルにマップする。 具体的には,コーデックスとクロード・コードという2つの演算子について,エージェントの推論作業,タスク,最適化基準,トレーニングデータの構成など,制御された実験的要因について検討する。 各エージェント・タスク・メトリックの組み合わせに対して、出力品質、ドル・コスト、壁時計時間、プロセスの複雑さといった複数の応答に対して回帰モデルと推論を行う。 さらに, 実用性を考慮した正準分解法を開発し, 推理効果の優位な方向を特徴付けるとともに, その方向が性能コストの高い実用性方向と整合するかどうかを評価する。 提案フレームワークは,ネットワーク化されたワードフォーミングゲームのテストベッド上で,コストとプロセスの複雑さに関する推論の取り組みに関する洞察力のある知見を提示する。

関連論文リスト

• Ensuring Reliability in Programming Knowledge Tracing: A Re-evaluation of Attention-augmented Models and Experimental Protocols [0.6015898117103068]
  本研究は,代表的PKTモデルを再検討し,モデル構成とシーケンス構築の実践により,報告された利得が著しく影響を受けることを示す。 性能評価に影響を与える注意設定の問題を特定し,ServerTimestampを無視するなどの学生の試みの不適切な順序が時間的因果性に反し,過度に楽観的な結果をもたらすことを実証する。
  論文  参考訳（メタデータ） (2026-05-06T10:22:21Z)
• Co-evolving Agent Architectures and Interpretable Reasoning for Automated Optimization [6.428928591765431]
  大規模言語モデル(LLM)を用いた操作研究は、手作業による推論によって制限されている。 自動最適化のための共進化的フレームワークであるEvoOR-Agentを提案する。 ケーススタディとアブレーション分析は、明示的なアーキテクチャ進化とグラフによる推論-軌道探索が、性能改善と構造的解釈可能性の両方に寄与していることを示している。
  論文  参考訳（メタデータ） (2026-04-20T01:44:18Z)
• Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
  我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。 我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
  論文  参考訳（メタデータ） (2026-03-20T16:27:17Z)
• Automated Detection of Visual Attribute Reliance with a Self-Reflective Agent [58.90049897180927]
  視覚モデルにおける視覚的特徴の意図しない依存を検出するための自動フレームワークを提案する。 自己反射エージェントは、モデルが依存する可能性のある視覚特性に関する仮説を生成し、テストする。 我々は,視覚特性の多様さを示すために設計された130モデルの新しいベンチマークに対して,我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2025-10-24T17:59:02Z)
• Surrogate Modeling and Explainable Artificial Intelligence for Complex Systems: A Workflow for Automated Simulation Exploration [0.9236873716369859]
  複雑なシステムは、シミュレーション駆動工学によってますます研究されている。 1) 正確な探索には多くの高価なシミュレーターが必要であり、(2) 決定が不透明なブラックボックスコンポーネントに依存する場合の透明性と信頼性が制限されている。 本研究では, 軽量エミュレータを高速かつ低遅延で高価なシミュレータの近似を提供し, (ii) 厳密な不確実性定量化を実現し, (iii) グローバルおよびローカルな説明可能な人工知能 (XAI) 解析に適応させる, 実験のコンパクトな設計について, 両課題に対処するワークフローを提案する。
  論文  参考訳（メタデータ） (2025-10-19T07:55:52Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Understanding Software Engineering Agents: A Study of Thought-Action-Result Trajectories [17.975121612118752]
  大規模言語モデル(LLM)ベースのエージェントは、複雑なソフトウェアエンジニアリングタスクを自動化するためにますます採用されている。 本研究は,3種類のLLM系エージェントの思考-反感-反感の軌跡について,大規模な実証的研究を行った。 我々は,数量やトークン消費,反復的な行動系列,思考,行動,結果のセマンティックコヒーレンスといった重要な軌道特性を同定する。
  論文  参考訳（メタデータ） (2025-06-23T16:34:52Z)
• Modèles de Substitution pour les Modèles à base d'Agents : Enjeux, Méthodes et Applications [0.0]
  エージェントベースモデル(ABM)は、局所的な相互作用から生じる創発的な現象を研究するために広く用いられている。 ABMの複雑さは、リアルタイム意思決定と大規模シナリオ分析の可能性を制限する。 これらの制限に対処するため、サロゲートモデルはスパースシミュレーションデータから近似を学習することで効率的な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-05-17T08:55:33Z)
• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。