論文の概要: Stateless Language Agents: Scaling Long-Horizon Automated Research
- arxiv url: http://arxiv.org/abs/2610.07625v1
- Date: Tue, 06 Oct 2026 02:17:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.756044
- Title: Stateless Language Agents: Scaling Long-Horizon Automated Research
- Title（参考訳）: ステートレス言語エージェント: 長期自動研究のスケールアップ
- Abstract要約: 我々はステートレス言語エージェントを紹介し、ステートレスエージェントによるステートフル検索の原則に基づいて構築する。
各エージェントが見ているものは、実行とともに成長する履歴ではなく、明示的な設計選択になります。
最大10億トークンの予算で、ソフトウェアエンジニアリング、カーネル最適化、アルゴリズム設計に関する最近の3つのフレームワークに対してSLAを評価します。
- 参考スコア（独自算出の注目度）: 15.862222543624577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated research systems increasingly run LLM agents over long horizons, but more inference does not by itself produce more progress: agents replay growing histories, duplicate one another's work, or stop experimenting while token consumption continues. Yet most evaluations use short budgets or benchmarks that saturate early, leaving these failure modes untested. We trace these failures to two choices: where research state lives and who decides what to try next. We introduce Stateless Language Agents (SLAs), built on the principle of stateful search with stateless agents: no agent carries its conversation across invocations; instead, the harness owns the research state (candidate solutions and measured outcomes) and reconstructs a fresh and role-specific context for every invocation. What each agent sees becomes an explicit design choice rather than a history that grows with the run. We implement this principle in the SLA framework, where a stateless Advisor reads harness-summarized evidence across search directions and assigns concrete experiments to parallel Workers. We evaluate SLA against three recent frameworks on software engineering, kernel optimization, and algorithm design at budgets of up to one billion tokens. SLA achieves the best final result on every task and reaches the strongest kernel baseline's final performance with over 84% fewer tokens. Ablations from shared checkpoints show that focused contexts and explicit assignments each contribute to SLA's progress, with effects that can compound over full runs, while the Advisor consumes less than 0.6% of tokens. These results argue for SLAs, which keep durable research state out of agent conversations, and show that short evaluation horizons can misjudge research systems and their components.
- Abstract（参考訳）: 自動化された研究システムは長い地平線上でLSMエージェントをますます実行しているが、より多くの推論はそれ自身でそれ以上の進歩をもたらすわけではない:エージェントは成長する履歴を再生し、互いに作業の複製をし、トークン消費が継続している間に実験を中止する。
しかし、ほとんどの評価では、早期に飽和する短い予算やベンチマークを使用しており、これらの障害モードは未テストのままである。
私たちはこれらの失敗を、2つの選択肢に辿り着きました。
我々は、ステートレス言語エージェント(SLA)を導入し、ステートレスエージェントによるステートフル検索の原則に基づいており、その代わりに、ハーネスは研究状態(候補解決と測定結果)を所有し、すべての呼び出しに対して新しくロール固有のコンテキストを再構築する。
各エージェントが見ているものは、実行とともに成長する履歴ではなく、明示的な設計選択になります。
我々は、この原則をSLAフレームワークで実装し、ステートレスアドバイザが検索方向をまたいだハーネス推定されたエビデンスを読み出し、並列ワーカーに具体的な実験を割り当てる。
最大10億トークンの予算で、ソフトウェアエンジニアリング、カーネル最適化、アルゴリズム設計に関する最近の3つのフレームワークに対してSLAを評価します。
SLAはすべてのタスクで最高の最終結果を獲得し、84%以上のトークンで最強のカーネルベースラインの最終的なパフォーマンスに達する。
共有チェックポイントからのアブレーションによると、集中したコンテキストと明示的な割り当てはそれぞれSLAの進捗に寄与し、フル実行時に複合する効果がある一方で、アドバイザはトークンの0.6%未満を消費している。
これらの結果は、耐久性のある研究状態をエージェントの会話から遠ざけるSLAを議論し、短い評価の地平線が研究システムとそのコンポーネントを誤解する可能性があることを示す。
関連論文リスト
- Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents [27.286448302878284]
反復研究エージェントのためのメタ推論について紹介する。
外部ループメタレゾナーは、永続的な研究記録からコンテキストをキュレートし、次の調査のために作業命令を書き、エピソードを終了する。
新たなインナーループエグゼキュータは、各作業順序を実行し、メタ推論アクション間の遷移の一部を実行する。
論文 参考訳（メタデータ） (2026-10-01T21:54:47Z) - Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States [13.770820750500596]
大規模言語モデル(LLM)エージェントはますます複雑なタスクをこなせるようになった。
本稿では,エージェントの意思決定コンテキストとして明示的な信念状態を構築し,継続的に維持する推論時フレームワークPoSを紹介する。
論文 参考訳（メタデータ） (2026-10-01T10:21:46Z) - Beyond Scripted Search: Sample-Efficient Reward Discovery via Agentic Black-box Optimization [3.058209113365598]
本稿では,複雑な制御タスクのためのエージェント・リワードブラックボックス最適化(ARBO)フレームワークを提案する。
エージェントは、その永続的なワークスペースとして維持された評価履歴から、実行時に検索戦略を構築する。
ARBOは操作成功率29.9%、パワーグリッドスコア192.8%をベースライン平均で達成している。
論文 参考訳（メタデータ） (2026-09-26T09:14:40Z) - The Hard Part Comes After Search: Benchmarking Web Agents on Synthesizing, Organizing, and Displaying Knowledge [37.21080040024616]
KNOWSは、これらの機能を共同で評価する、オープンで複雑なブラウザベースのタスクのベンチマークである。
タスクを書くためには,タスクが要求を満たすことを保証するためのタスク設計とプロトコルを開発する。
我々は、フロンティアコンピュータ利用エージェントとブラウザベースのハーネスを評価し、分析する。
論文 参考訳（メタデータ） (2026-09-24T22:36:10Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - Search More, Think Less: Rethinking Long-Horizon Agentic Search for Efficiency and Generalization [64.61432234404276]
emphSearch More, Think Less (SMTL) は、効率性と一般化の両方をターゲットとした長期エージェント検索のためのフレームワークである。
我々は、教師付き微調整と強化学習を用いてエンドツーエンドエージェントを訓練し、ベンチマーク全体にわたって、強固で頻繁なパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-26T06:46:41Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳（メタデータ） (2025-11-11T14:57:54Z) - Beyond Reactivity: Measuring Proactive Problem Solving in LLM Agents [3.0745879700441385]
PROBEは3つのコア機能のパイプラインとして活性を分解する。
GPT-5とClaude Opus-4.1の両方で、40%の最高のエンドツーエンドパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-10-22T17:00:45Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。
エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。
実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
論文 参考訳（メタデータ） (2025-09-26T02:04:00Z) - MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。
各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。
我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文 参考訳（メタデータ） (2023-10-05T04:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。