論文の概要: DAGLoop: Aligning Method Design with Experimental Feedback in Automated AI Research

• arxiv url: http://arxiv.org/abs/2610.25089v1
• Date: Sun, 18 Oct 2026 07:53:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:19:42.038731
• Title: DAGLoop: Aligning Method Design with Experimental Feedback in Automated AI Research
• Title（参考訳）: DAGLoop:AIの自動化研究における実験的なフィードバックによるメソッド設計の調整
• Abstract要約: DAGLoopは、設計決定の期待される効果をテストすることを目的としており、その決定と実装を比較している。 結果は、構造化された研究メモリを形成するためのテストされた決定、期待、条件で記録される。
• 参考スコア（独自算出の注目度）: 57.35979895107533
• License:
• Abstract: Automated AI research agents aim to improve machine learning methods by iteratively proposing, implementing, and evaluating candidate methods. Existing work uses the outcome of each evaluation to determine how the next candidate should be revised for performance improvement. However, a candidate often combines multiple design decisions, and its overall outcome alone does not reveal which decisions produced their expected effects, whether their required conditions were satisfied, or which decisions should be retained or revised. Inspired by ablation studies in the machine learning community, we propose DAGLoop to test the expected effect of a design decision by comparing implementations with and without that decision while preserving the other decisions it requires. Specifically, DAGLoop translates each design decision's rationale into a testable expectation and pairs it with a targeted experiment, forming an experimental specification for assessing the expected effect under its required conditions. Using these specifications, we formulate ablation planning as the construction of a directed acyclic graph (DAG) from the candidate method's design: nodes associate decisions with tests, and edges encode dependencies. The DAG specifies which decisions each experiment must retain and supports joint tests when an expected effect requires several decisions to act together. Outcomes are recorded with the tested decisions, expectations, and conditions to form structured research memory. This memory guides the agent in retaining experimentally supported decisions, revising unsupported ones, and planning further experiments when the evidence is unresolved. Experiments on dozens of research tasks demonstrate substantial performance improvements achieved by DAGLoop across diverse executable research settings. Code and evaluation scripts are available at https://github.com/deng34567/DAGLoop.
• Abstract（参考訳）: 自動AI研究エージェントは、候補手法を反復的に提案し、実装し、評価することで、機械学習手法を改善することを目的としている。 既存の作業では、各評価の結果を使用して、パフォーマンス改善のために次の候補をどのように修正すべきかを決定する。 しかしながら、候補はしばしば複数の設計決定を組み合わせ、その全体的な結果だけでは、どの決定が期待された効果を生んだか、必要な条件が満たされたか、どの決定を維持または修正されるべきかは明らかにしない。 機械学習コミュニティにおけるアブレーション研究に触発されて、我々はDAGLoopを提案し、必要な他の決定を保ちながら、その決定と実装を比較し、設計決定の期待される効果をテストする。 具体的には、DAGLoopは各設計決定の根拠を検証可能な期待値に変換し、対象とする実験と組み合わせて、要求条件下での期待される効果を評価する実験仕様を作成する。 これらの仕様を用いて、ノードがテストと決定を関連付け、エッジが依存関係をエンコードする有向非巡回グラフ(DAG)の構築としてアブレーション計画を定式化する。 DAGは、それぞれの実験が保持しなければならない決定を定義し、期待される効果が一緒に行動するためにいくつかの決定を必要とする場合、共同テストをサポートします。 結果は、構造化された研究メモリを形成するためのテストされた決定、期待、条件と共に記録される。 この記憶は、エージェントが実験的に支持された決定を維持し、支持された決定を改訂し、証拠が未解決のときにさらなる実験を計画するのを導く。 数十の研究タスクの実験では、様々な実行可能な研究環境において、DAGLoopによって達成された大幅なパフォーマンス改善が示されている。 コードと評価スクリプトはhttps://github.com/deng34567/DAGLoop.comで入手できる。

関連論文リスト

• Meta-learning accelerates detector design optimization [0.3313576045747071]
  本稿では,検出器設計における推論性能の最適化について考察する。 メタ学習型客観的推定法(MLOE)を提案する。 すべての候補設計において新しい推論問題を解く代わりに、単一のメタ推論モデルがそれらすべてで共有される。
  論文  参考訳（メタデータ） (2026-09-22T17:03:47Z)
• Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
  本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。 人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。 実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T10:42:11Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Counterfactual Prediction Under Selective Confounding [3.6860485638625673]
  この研究は、全ての共同創設者が知られていない場合、バイナリ処理とその結果の間の因果推論を行うという課題に対処する。 我々は、希望する処置の下ですべての共同創設者を知るという要求を緩和し、選択的共起(Selective Confounding)と呼ぶ。 提案手法の有効性に関する理論的誤差境界と実証的証拠の両方を,実世界と実世界の子配置データを用いて提示する。
  論文  参考訳（メタデータ） (2023-10-21T16:54:59Z)
• Task-specific experimental design for treatment effect estimation [59.879567967089145]
  因果推論の標準は大規模ランダム化試験(RCT)である。 近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。 実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
  論文  参考訳（メタデータ） (2023-06-08T18:10:37Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Efficient Real-world Testing of Causal Decision Making via Bayesian Experimental Design for Contextual Optimisation [12.37745209793872]
  文脈的意思決定の評価と改善のためのデータ収集のためのモデルに依存しないフレームワークを提案する。 過去の治療課題の後悔をデータ効率で評価するために,本手法を用いた。
  論文  参考訳（メタデータ） (2022-07-12T01:20:11Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。