論文の概要: Self-Supervised Scaling of Terminal Environments for Scientific Domains
- arxiv url: http://arxiv.org/abs/2610.02710v1
- Date: Fri, 02 Oct 2026 02:44:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.170785
- Title: Self-Supervised Scaling of Terminal Environments for Scientific Domains
- Title(参考訳): 科学技術分野における端末環境の自己監視スケーリング
- Abstract要約: ターミナルエージェントは、科学やその他の専門分野のソフトウェア工学を超えた展開が増えている。
本稿では,既存のソフトウェアケースから参照出力と検証対象を取得するセルフアウトプット・フレームワークであるSoftware-in-the-loopについて紹介する。
SWRを6つのドメインで500から46のソフトウェアファミリでインスタンス化する。
Qwen3.8-Maxはタスク毎に3回の試行を行い、838のタスクを解決し、1,422の検証軌道を生成します。
- 参考スコア(独自算出の注目度): 43.17162353852083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Terminal agents are increasingly deployed beyond software engineering in science and other specialized domains. Constructing training environments requires executable reference behavior and a domain-specific verifier that distinguishes semantic correctness from superficially plausible artifacts. Authoring these components for each task requires repeated engineering and limits reuse. We introduce software-in-the-loop reconstruction, a self-supervised framework that obtains reference outputs and verification targets from existing software workflows, executable programs mapping structured inputs to outputs. For each workflow, we execute multiple input configurations and partition cases into public observations and hidden evaluations. Given the instruction, input schema, and public input--output observations, an agent constructs an editable program without access to the source workflow. The candidate is evaluated on hidden configurations against workflow outputs. A hierarchical verifier combines domain-specific semantic comparison, structural validity, and anti-shortcut checks, while public feedback supports iterative revision. The construction admits additional workflows and configurations without authoring a reference solution for each task. We instantiate SWR with 500 workflows and 46 software families across six domains. Across three attempts per task, Qwen3.8-Max solves 838 tasks and produces 1,422 verified trajectories, which we oversample to 3,000 reconstruction-only training examples. Supervised fine-tuning of Qwen3.8-27B improves mean Terminal-Bench 2 performance from 47.94% to 53.56% across three seeds and achieves the highest mean among four matched-token corpus controls on all four reported evaluations. These results indicate that existing scientific software can provide scalable, behaviorally verified supervision for terminal agents.
- Abstract(参考訳): ターミナルエージェントは、科学やその他の専門分野のソフトウェア工学を超えた展開が増えている。
トレーニング環境を構築するには、実行可能な参照動作とドメイン固有の検証が必要である。
各タスクに対してこれらのコンポーネントをオーサリングするには、繰り返しのエンジニアリングと再利用の制限が必要である。
本稿では,既存のソフトウェアワークフローから参照出力と検証対象を取得する自己教師型フレームワークであるSoftware-in-the-loop Restructationを導入し,構造化された入力を出力にマッピングする実行プログラムを提案する。
各ワークフローに対して、複数の入力設定とパーティションケースを実行し、パブリックな観察と隠れた評価を行います。
インプットスキーマ、パブリックなインプット・アウトプット・オブザーバが与えられた場合、エージェントはソースワークフローにアクセスせずに編集可能なプログラムを構築する。
この候補はワークフロー出力に対して隠れた設定で評価される。
階層的検証器はドメイン固有の意味比較、構造的妥当性、反ショートカットチェックを組み合わせ、パブリックフィードバックは反復的リビジョンをサポートする。
この構成では、各タスクに対する参照ソリューションをオーサリングすることなく、追加のワークフローと設定を許可する。
SWRは500のワークフローと46のソフトウェアファミリで6つのドメインでインスタンス化しています。
Qwen3.8-Maxはタスク毎に3回の試行を行い、838のタスクを解決し、1,422の検証軌道を生成します。
Qwen3.8-27Bの監督された微調整により、平均終端ベンチ2性能は3つの種で47.94%から53.56%に改善され、4つの報告された4つの評価で一致したコーパスコントロールの中で最高に向上した。
これらの結果から,既存の科学ソフトウェアが端末エージェントに対して,スケーラブルで行動検証可能な監視を提供する可能性が示唆された。
関連論文リスト
- CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。
共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。
9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。
最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
論文 参考訳(メタデータ) (2026-09-27T17:59:31Z) - CodeMidas: Scaling Agentic Coding RL Environments from Code Itself [55.204742661138745]
強化学習(RL)による有能な符号化エージェントの訓練には、信頼性のある検証器による多様なタスクが必要である。
オープンソースはそのようなタスクの豊富なソースを提供するが、既存のメソッドは通常、問題やコミットのような開発成果物に依存している。
我々は,既存の実装機能を,ソースコードを唯一のタスク固有の入力として使用して実行可能なRL環境に変換するエージェントパイプラインであるCodeMidasを紹介する。
論文 参考訳(メタデータ) (2026-09-18T17:55:17Z) - RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳(メタデータ) (2026-09-18T17:00:56Z) - Earth-Agent-Pro: Towards Real-World Full-Chain Earth Observation with Agents [41.45703910271276]
実世界の地球観測(EO)エージェントは、高レベルの科学的質問を実行可能なものに翻訳しなければならない。
Earth-Bench-Proは、専門家による248のタスクコアを、マッチした3つの体制の下で744の質問としてインスタンス化する。
GPT-5のバックボーンを共有することで、Earth-Agent-Proは66.13%のLDM-as-Judge精度を達成している。
論文 参考訳(メタデータ) (2026-09-11T07:41:36Z) - Post-Training on Office Work Improves Software Engineering: A Behavioral Account of Cross-Domain Transfer [1.0742728354283815]
長い水平タスクでは、エージェントはネストされた作業と分岐された作業のコヒーレントな状態と目標を維持する必要がある。
この能力目標実行(GDE)とは,目標の選択,タスク関連状態の構築,高レベルな目標への忠実性の維持,環境に対する完成性の検証という,4つの行動の繰り返し適用である。
オフィスから引き出されたLHMTA(Long-Horizon Multi-Tool Agent)タスクでQwen3.5-122B-A10Bを訓練した後でテストした。このコレクションにはソフトウェア指向タスクは含まれなかったが、SWE-Bench Proでは5.8ポイント改善された。
論文 参考訳(メタデータ) (2026-08-03T02:22:02Z) - StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows [15.552044829103373]
構造工学要求のためのアーティファクト中心のワークベンチであるStructureClawを紹介します。
また、150の制御シナリオの実行可能なベンチマークであるStructureClaw-Benchを紹介します。
同じ50の標準ケースで評価された10のエージェントモデル構成の中で、平均成功率は56.8%、ジェネリックスキルベースラインは88.6%、完全な自動ワークフローは88.6%となっている。
論文 参考訳(メタデータ) (2026-07-16T12:13:41Z) - OpenComputer: Verifiable Software Worlds for Computer-Use Agents [50.93029275079928]
OpenComputerは、コンピュータ利用エージェントの検証可能なソフトウェア世界を構築するための検証済みのフレームワークである。
OpenComputerは現在の形式で、ブラウザ、オフィスツール、クリエイティブソフトウェア、開発環境、ファイルマネージャ、通信アプリケーションにまたがる、33のデスクトップアプリケーションと1,000の最終的なタスクをカバーしている。
論文 参考訳(メタデータ) (2026-05-19T12:40:29Z) - Reversa: A Reverse Documentation Engineering Framework for Converting Legacy Software into Operational Specifications for AI Agents [0.0]
本稿では,レガシソフトウェアをAIエージェントのトレーサブルな運用仕様に変換するためのリバースドキュメンテーションエンジニアリングフレームワークであるReversaを紹介する。
特殊なエージェントは、プロジェクト表面をマッピングし、モジュールを分析し、暗黙のルールを抽出し、アーキテクチャを合成し、ユニットレベルの仕様を書き、生成されたクレームをレビューする。
提案では,コードと仕様間のトレーサビリティ,明確な信頼性マーキング,人間の検証のためのギャップの保存という,3つのメカニズムを強調している。
論文 参考訳(メタデータ) (2026-05-18T17:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。