論文の概要: Glite ARF: Verifier-Driven Research with Parallel LLM Coding Agents
- arxiv url: http://arxiv.org/abs/2606.27416v1
- Date: Thu, 25 Jun 2026 17:52:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.279931
- Title: Glite ARF: Verifier-Driven Research with Parallel LLM Coding Agents
- Title(参考訳): Glite ARF:並列LLM符号化エージェントを用いた検証者駆動型研究
- Abstract要約: 我々は、LLMコーディングエージェントを並列に実行するオープンソースのPythonフレームワークであるGlite ARFを研究レポジトリで紹介する。
人間の研究者は、どの仮説をテストするかを選択し、コーディングエージェントは固定された構造の下で個々のタスクを実装し、決定論的Python検証スクリプトはタスク分離を実行する。
我々はGlite ARFを用いてBEA 2026語彙差分共有タスクに応募し、まずクローズドトラックに、そして3つのターゲット言語でオープントラックに配置した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: LLM coding agents make it tempting to automate empirical research by delegating experiments to them directly, but naive delegation does not scale to large projects: low-rate instruction lapses compound into broken, irreproducible artefacts. To address this problem, we present Glite ARF, an open-source Python framework for running many LLM coding agents in parallel on a research repository without sacrificing reproducibility or auditability. The framework defines a three-role stack: a human researcher chooses which hypotheses to test, coding agents (Claude Code, Codex CLI) implement individual tasks under a fixed structure, and deterministic Python verifier scripts enforce task isolation, immutability of completed work, a corrections overlay, and a materialised project overview. We call this verifier-driven research: the rules of the research process live in code that fails loudly when violated, not in prose that agents are merely asked to follow. Using Glite ARF, we developed our submission to the BEA 2026 vocabulary-difficulty shared task, placing first in the closed track and second in the open track on all three target languages (Spanish, German, Mandarin) and reducing the official baseline RMSE by 29.9% (closed) and 35.9% (open). The campaign comprised 273 tracked tasks (146 experiment runs) across 129 feature sets, run by up to twelve parallel agents orchestrated from a single laptop - with some model training on rented A100s - at approximately \$450 in LLM API spend (\$498 total third-party cost), and structured per-fold provenance let us catch and strip four target-leaking feature sets, correcting an implausible 0.609 RMSE to 0.802. Across three campaigns in three domains, the framework's structural machinery adds only about 1% of wall-clock time. Framework and a public demo project accompany this paper.
- Abstract(参考訳): LLMコーディングエージェントは、直接実験を委譲することで実験的な研究を自動化する傾向があるが、素早い委譲は大規模なプロジェクトにはスケールしない。
この問題に対処するために、Glite ARFは、再現性や監査性を犠牲にすることなく、多くのLLMコーディングエージェントを研究リポジトリ上で並列に実行するためのオープンソースのPythonフレームワークである。
人間の研究者は、どの仮説をテストするかを選択し、コーディングエージェント(Claude Code、Codex CLI)は、固定された構造の下で個々のタスクを実装し、決定論的Python検証スクリプトは、タスク分離、完了した作業の不変性、修正オーバーレイ、具体化されたプロジェクト概要を強制する。
私たちは、検証者主導の研究と呼んでいる:研究プロセスのルールはコードの中に存在し、違反した場合に大声で失敗する。
Glite ARFを用いて、私たちはBEA 2026語彙差分共有タスクに応募し、まず3つのターゲット言語(スペイン語、ドイツ語、マンダリン)のクローズドトラックに、そして公式のRMSEを29.9%(クローズド)、35.9%(オープン)に減らしました。
キャンペーンは、1台のラップトップから最大12個の並行エージェントを編成し、A100sのモデルトレーニングを約450ドル(約498ドル)のLLM APIの費用で行ない、273個のトラックされたタスク(実験実行146回)と、4つのターゲットをリードする機能セットを捕捉して取り除く構造化された1つの折りたたみ式プロファイラを構成し、不可解な0.609 RMSEを0.802に修正した。
3つのドメインでの3つのキャンペーンで、フレームワークの構造機械は、壁時計時間の約1%しか増加しない。
フレームワークと公開デモプロジェクトは、この論文に付随する。
関連論文リスト
- ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳(メタデータ) (2026-06-30T06:06:08Z) - Theory Under Construction: Orchestrating Language Models for Research Software Where the Specification Evolves [1.0312968200748116]
大規模な言語モデルは、実質的なコードと研究テキストを生成することができるが、研究ソフトウェアプロジェクトは、どちらのアーティファクトも必要としない。
我々は,幻覚の蓄積とデシンクロナイゼーションという,LM固有の障害モードを2つ同定する。
本研究では,1つのワークスペース状態の座標として,アイデア,実装,評価,グラウンド,ペーパーライティングを編成する反復的プロンプトであるComet-Hを提案する。
論文 参考訳(メタデータ) (2026-04-29T21:28:17Z) - The cognitive companion: a lightweight parallel monitoring architecture for detecting and recovering from reasoning degradation in LLM agents [0.0]
マルチステップタスクにおける大規模言語モデル(LLM)エージェントは、ハードタスクにおいて最大30%の速度で劣化、ループ、ドリフト、スタント状態の推論に苦しむ。
本稿では,2つの実装を持つ並列監視アーキテクチャであるCognitive Companionを紹介する。
論文 参考訳(メタデータ) (2026-04-15T11:44:20Z) - AgentSZZ: Teaching the LLM Agent to Play Detective with Bug-Inducing Commits [14.213358505741105]
AgentSZZは、バグを引き起こすコミットを特定するエージェントベースのフレームワークである。
従来の方法とは異なり、AgentSZZはタスク固有のツール、ドメイン知識、ReActスタイルのループを統合し、バグの適応的および因果的トレースを可能にする。
実験によると、AgentSZZはすべての設定で最先端のSZZアルゴリズムより一貫して優れている。
論文 参考訳(メタデータ) (2026-04-03T02:54:02Z) - Beyond Resolution Rates: Behavioral Drivers of Coding Agent Success and Failure [0.0]
コーディングエージェントは、大規模言語モデルの推論能力とツール強化された対話ループを組み合わせた、自動化されたソフトウェアエンジニアリングにおける新しいパラダイムを表している。
トップランクのLLMベースのコーディングエージェントは、ベンチマークされた問題の20%以上で依然として失敗している。
本研究は,500件のタスクにおいて,19件のエージェントから9,374件のトラジェクトリを分析した大規模な実証研究である。
論文 参考訳(メタデータ) (2026-04-02T21:56:23Z) - RAVEL: Reasoning Agents for Validating and Evaluating LLM Text Synthesis [78.32151470154422]
テスト担当者が自律的に設計し、典型的な合成操作を実行できるようにするためのエージェントフレームワークであるRAVELを紹介する。
C3EBenchは、プロの人間の文章から1,258個のサンプルを抽出したベンチマークである。
SOTA LLMを演算子としてRAVELを増強することにより、そのようなエージェントテキスト合成はLLMの推論能力に支配されていることがわかった。
論文 参考訳(メタデータ) (2026-02-28T14:47:34Z) - On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [54.965787768076254]
大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。
コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
論文 参考訳(メタデータ) (2025-07-22T13:40:26Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳(メタデータ) (2025-04-30T23:09:44Z) - Towards Exception Safety Code Generation with Intermediate Representation Agents Framework [54.03528377384397]
大規模言語モデル(LLM)は、しばしば生成されたコードの堅牢な例外処理に苦しむ。
中間表現(IR)アプローチにより,LLM生成コードの例外安全性を実現する新しいマルチエージェントフレームワークであるSeekerを提案する。
Seekerは例外処理をScanner, Detector, Predator, Ranker, Handlerの5つの特殊エージェントに分解する。
論文 参考訳(メタデータ) (2024-10-09T14:45:45Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - AgentFL: Scaling LLM-based Fault Localization to Project-Level Context [11.147750199280813]
本稿では,ChatGPTに基づくマルチエージェントシステムであるAgentFLについて述べる。
人間の開発者の振る舞いをシミュレートすることで、AgentFLはFLタスクを3段階のプロセスとしてモデル化する。
広く使用されているDefects4J-V1.2.0ベンチマークの評価は、AgentFLがTop-1内の395のバグのうち157をローカライズできることを示している。
論文 参考訳(メタデータ) (2024-03-25T01:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。