論文の概要: Agentic Auto-Research is Fuzz Testing
- arxiv url: http://arxiv.org/abs/2608.09855v1
- Date: Mon, 10 Aug 2026 17:13:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.393981
- Title: Agentic Auto-Research is Fuzz Testing
- Title(参考訳): Agentic Auto-Research - ファジテスト
- Abstract要約: 我々は、この*generate-and-rank*パラダイムはスパースフィードバックの問題を見逃していると論じる。
提案手法は,予測された進行を予測できるかどうかの制御試験である。
- 参考スコア(独自算出の注目度): 15.838025468876486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous research agents can generate experiments faster than researchers can validate them. Researchers have responded by scaling the proposer and ranking more samples with a learned judge or human reviewers. We argue that this *generate-and-rank* paradigm misses the problem of sparse feedback. Within a declared research problem, an agent follows the control loop of a greybox fuzzer: it proposes a candidate, executes it, observes feedback, and chooses what to try next. A fuzzer rarely finds a bug, but coverage makes partial progress observable on every execution. Fuzzers then use that signal to mutate inputs and allocate effort, rather than only to rank completed runs. Auto-research needs the same two capabilities. First, each experiment should expose a cheap, dense signal of epistemic progress before final scientific validation is available. Second, that signal should determine the next intervention so that the agent searches rather than repeatedly samples. Because the optimized progress signal is guidance rather than a verdict, final validation must still decide what counts as a discovery using evidence protected from adaptive reuse. We propose controlled tests of whether candidate signals predict validated progress, whether feedback-directed search yields more validated discoveries per unit cost than repeated sampling, and whether protected validation reduces false discoveries. Feedback architecture, not only generation, is a central bottleneck in auto-research.
- Abstract(参考訳): 自律的な研究エージェントは、研究者が検証できるよりも早く実験を作成できる。
研究者は、提案者を拡大し、学習した審査員や人間レビュアーでより多くのサンプルをランク付けすることで対応している。
我々は、この*generate-and-rank*パラダイムはスパースフィードバックの問題を見逃していると論じる。
宣言された研究問題の中で、エージェントはグレーボックスファザーの制御ループに従い、候補を提案し、それを実行し、フィードバックを観察し、次に何を試すかを選択する。
ファジィザがバグを見つけることは滅多にないが、カバレッジは実行毎に部分的な進捗を観測できる。
ファッジャはその信号を使って入力をミュートし、完了したランをランク付けするだけでなく、労力を割り当てる。
自動検索は同じ2つの機能が必要です。
まず、それぞれの実験は、最終的な科学的検証が利用可能になる前に、安価で密度の高いてんかんの進行の信号を公開するべきである。
第二に、その信号は、エージェントが繰り返しサンプリングするのではなく、検索するように次の介入を決定するべきである。
最適化された進行信号は判定ではなくガイダンスであるので、最終的な検証は、適応的な再利用から保護された証拠を用いて、発見として数えられるものを決定する必要がある。
提案手法では,候補信号が予測された進行を予測できるか,フィードバック指向探索が繰り返しサンプリングよりもユニットコスト当たりの検証結果が得られるか,保護された検証が誤検出を減少させるか,の制御試験を提案する。
フィードバックアーキテクチャは、生成だけでなく、自動検索における中心的なボトルネックである。
関連論文リスト
- From Experiments to Decisions: Reusing Evidence in Autonomous Coding Research [0.0]
我々は400タスクのNeuroGolfキャンペーンでエビデンスをどのように再利用するかを再構築する。
数値的な反例は、オーバーブロード排除を公開する。
他のエピソードでは、失敗、不完全、そして修正されたプログラムが次に行うことを正当化する。
論文 参考訳(メタデータ) (2026-09-10T03:48:31Z) - AutoScientist-Quant: Self-Evolving Coding Agents for Automatic Research in Quantitative Investment [28.36446889018906]
本稿では,定量的研究を1つの予算付き探索問題とみなす自己進化型探索プロセスであるAutoScientist-Quantを提案する。
単一のコントローラは、残りの予算についてすべての決定を条件付け、各ラウンドでどのノードを拡大するか、どのアルファを生成すべきか、過去のトラジェクトリを共有メモリから取得するかを選択できる。
このフレームワークはあらゆる設定においてほぼすべての指標の最高の価値を達成し、これらの結論はいくつかのバックボーンや市場にわたって保持される。
論文 参考訳(メタデータ) (2026-08-05T23:34:46Z) - Can AI Agents Simulate A/B Test Outcomes? A Validation Framework for Agentic Experimentation [1.4180331276028662]
A/Bテストは、テクノロジ業界における新機能の標準であり続けている。
AIエージェントは、行動プロファイルと介入のコンテキスト記述に基づいて、--- 実際のトラフィックをコミットする前に、候補者の処置を精査するのに十分な結果をシミュレートできますか?
我々は,この問題をEmphSimulated Randomized Controlled Trial (S-RCT) として定式化し,エージェント近似誤差をサブサンプリング誤差から分離する2層誤差分解を導出する。
論文 参考訳(メタデータ) (2026-08-03T14:58:06Z) - Before Reasoning Can Fail: Pre-Evidence Procedural Failures in Agentic RAG [0.7161783472741748]
エージェント検索拡張生成(RAG)システムは、エビデンス条件の推論がテストされる前に失敗する可能性がある。
我々は,この故障モードをエージェント軌道の手続き的特性として検討する。
ReadGateは,検索後およびファイナライゼーション前において,エージェントが読み取る必要のある最小限のランタイムである。
論文 参考訳(メタデータ) (2026-08-03T10:09:19Z) - RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement [27.641105176473136]
既存のベンチマークは、最適化、サービス、評価、システム実装と研究上の決定を結びつける。
我々は、LLMエージェントのベンチマークであるRSIBench-Dataを、固定された後学習スタックを持つデータ中心の研究者として紹介する。
ソフトウェア工学,端末利用,科学的質問応答,数学の6つのベンチマークで,フロンティアエージェントを4つ評価した。
論文 参考訳(メタデータ) (2026-07-28T15:46:41Z) - Perception, Verdict, and Evolution: Hindsight-Driven Self-Refining Forensics Agent for AI-Generated Image Detection [80.15317858033534]
ForeAgentは、反復的な自己進化を伴うAI生成画像検出のためのエージェント法医学フレームワークである。
ForeAgentはChameleonベンチマークで最先端のパフォーマンスを達成し、精度は82.18%に達した。
ForeAgent は GPT-5 や GPT-5-mini と比較して、より一貫性があり、因果的な推論をもたらす。
論文 参考訳(メタデータ) (2026-06-25T02:59:33Z) - Sibyl-AutoResearch: Autonomous Research Needs Self-Evolving Trial-and-Error Harnesses, Not Paper Generators [37.075000666622074]
我々はScientific Trial-and-Error Harnessesを中心に構築された自己進化型AutoResearchフレームワークであるSibyl-AutoResearchを紹介した。
ハーネスは、エージェントが有界なトライアルを実行し、肯定的な結果と否定的な結果を保持し、後続の計画、検証、クレームスコープ、スケジューリング、批判、執筆、修復に教訓を導いてくれる。
SIBYLはファイルベースの自律的な研究システムで、状態、役割、メモリ、ゲート、アーティファクトトレースを公開して変換パスを検査する。
論文 参考訳(メタデータ) (2026-05-21T11:29:08Z) - AutoResearchClaw: Self-Reinforcing Autonomous Research with Human-AI Collaboration [175.74514061083195]
提案するAutoResearchClawは,5つのメカニズムに基づいて構築されたマルチエージェント自律型研究パイプラインである。
25トピックの実験ステージベンチマークであるARC-Benchでは、AutoResearchClawがAI Scientist v2を54.7%上回っている。
論文 参考訳(メタデータ) (2026-05-19T15:49:51Z) - Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。
実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。
本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
論文 参考訳(メタデータ) (2026-02-04T06:30:40Z) - From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。
我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。
本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
論文 参考訳(メタデータ) (2025-06-24T15:39:20Z) - PSBD: Prediction Shift Uncertainty Unlocks Backdoor Detection [57.571451139201855]
予測シフトバックドア検出(英: Prediction Shift Backdoor Detection、PSBD)は、ディープニューラルネットワークにおけるバックドアサンプルを識別する新しい手法である。
PSBDは興味深い予測シフト(PS)現象によって動機付けられており、クリーンなデータに対する有害なモデルの予測は、しばしば真のラベルから別のラベルへとシフトする。
PSBDは、モデル推論中にドロップアウト層をオン/オフする際の確率値のばらつきである予測シフト不確実性(PSU)を計算することで、バックドアトレーニングサンプルを特定する。
論文 参考訳(メタデータ) (2024-06-09T15:31:00Z) - SoK: Prudent Evaluation Practices for Fuzzing [21.113311952857778]
我々は2018年から2023年にかけて発行された150枚のファジィ紙の評価を体系的に分析した。
既存のガイドラインがどのように実装され、潜在的な欠点や落とし穴を観察するかを検討する。
例えば、報告されたバグの調査では、統計的検査やファジィ評価の体系的誤りに関する既存のガイドラインを驚くほど軽視している。
論文 参考訳(メタデータ) (2024-05-16T16:10:41Z) - Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。
我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。
平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
論文 参考訳(メタデータ) (2020-10-22T12:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。