論文の概要: Can an Agent Debug a Web Corpus? Agentic Auditing of Slovak FineWeb2
- arxiv url: http://arxiv.org/abs/2610.31636v1
- Date: Thu, 22 Oct 2026 17:52:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.506349
- Title: Can an Agent Debug a Web Corpus? Agentic Auditing of Slovak FineWeb2
- Title（参考訳）: エージェントはWebコーパスをデバッグできるか? スロバキアファインWeb2のエージェント監査
- Abstract要約: ツール使用エージェントは、読み取り専用の予算付きAPIを通じてコーパスを探索し、各検索を実行可能なテストにコンパイルする。
ファインウェブ2の26.5Mのスロバキア部分では、それぞれ2.21ドルから2.84ドルという費用がかかったが、4つの現象について7つの発見があった。
ブラインドラベルは7つの発見のうち6つ(欠陥率.53-1.00 against.08 in a random control)をサポートしており、1つをサポートしていない。
- 参考スコア（独自算出の注目度）: 1.9361965231412925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual pipelines such as FineWeb2 apply one recipe across a thousand languages, leaving the failure modes of individual languages unanticipated. We use an LLM once, as a corpus debugger rather than a classifier: a tool-using agent explores the corpus through a read-only, budgeted API and compiles each finding into an executable test, which a native speaker then validates. On the 26.5M-document Slovak portion of FineWeb2, three runs costing \$2.21-\$2.84 each found seven findings over four phenomena. The largest is a machine-generated content farm of 1,408,437 documents (5.32%) that passed the pipeline's filters, 86.6% of it passing even stricter thresholds. Blinded labels support 6 of the 7 findings (defect rates .53-1.00 against .08 in a random control) and do not support one. The compiled suite scans the full corpus in 0.7 s of wall-clock time without a GPU, against \$12k-\$90k per LLM classification pass. The best static sampling baseline validates more selectors than any agent run, at under half the cost. The agent contributes exact prevalence, a precision estimate checked against sampled documents, an account of why the pipeline missed each slice, and a reusable test. We release the framework, Slovak test suite, validation data and agent trajectories.
- Abstract（参考訳）: FineWeb2のような多言語パイプラインは、1,000言語に1つのレシピを適用し、個々の言語の障害モードを予期しないままにしている。
ツール使用エージェントは、読み取り専用で予算化されたAPIを通してコーパスを探索し、各発見を実行可能なテストにコンパイルし、ネイティブ話者が検証する。
ファインウェブ2の26.5Mのスロバキア部分では、それぞれ2.21-\$2.84の3回のランが4つの現象について7つの発見を見出した。
最大のものは1,408,437の文書(5.32%)で、パイプラインのフィルタを通し、86.6%はより厳密なしきい値を通過している。
ブラインドラベルは7つの発見のうち6つ(欠陥率.53-1.00対.08対ランダム制御)をサポートしており、1つをサポートしていない。
コンパイルされたスイートは、LLM分類パスあたり12k-\90kに対して、GPUを使わずに全コーパスを0.7秒でスキャンする。
最高の静的サンプリングベースラインは、どのエージェントよりも高いセレクタを、半分以下のコストで検証する。
エージェントは、正確な精度、サンプル文書に対してチェックされた精度推定、パイプラインがスライスを見逃した理由の説明、再利用可能なテストに貢献する。
フレームワーク、スロバキアテストスイート、検証データ、エージェントトラジェクトリをリリースします。
関連論文リスト
- HPCAgent-Bench: A Framework for Sound Benchmarking of Code-Optimizing Agents, Harnesses, and Skills [41.895790132512154]
コーディングエージェントは、コードの最適化にますます使われています。
既存のベンチマークでは,ひとつのアクセラレータやプログラミングモデル,あるいはハーネスが修正されているため,各コンポーネントのコントリビューションを分離することはできない。
ループレベルの最適化課題,HPCコードから抽出したカーネル,マシンラーニングモデルという,689のカーネルを3トラックにまとめたHPCAgent-Benchを提案する。
論文 参考訳（メタデータ） (2026-10-14T13:22:48Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Long-Horizon State Tracking in LLMs: Executing MD5 through a Deep Sequence of Dependent Tool Calls [0.5097809301149342]
ロングホライゾンタスクは、大きな言語モデル(LLM)評価では珍しくない。
LLMが多数のツールコールにまたがって、正確な中間状態を持てるかどうかをテストする。
モデル自身の推論をそれぞれの順番でコンテキストに保ち、思考可能な労働者に投票してモジュラー・アセスメティックス・スリップを除去する、という2つの要素が成功を決定づける。
論文 参考訳（メタデータ） (2026-08-02T09:38:02Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Towards Retrieving Interaction Spaces for Agentic Search [62.666902610940525]
最近の直接コーパス(DCI)の研究は、エージェントが5.4のインタラクションやファイル読み取りといったシェルツールを通じて生コーパスと対話できることを示している。
エージェント検索における検索の役割は, LLMコンテキストウィンドウに適合する文書を選択することだけではなく, インタラクション空間を構築することにある。
論文 参考訳（メタデータ） (2026-06-05T03:47:40Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - LACUNA: Safe Agents as Recursive Program Holes [3.2613419151327343]
LLMエージェントはますますコードを記述することで振る舞うが、エージェントを駆動するランタイムとモデルが記述するコードの間には分割が持続する。
我々は、安全性を維持しながら、この分割を閉じるエージェントのためのプログラミングモデルであるLACUNAを紹介する。
我々のプリミティブは、通常の制御フローとしてReActループ、サブエージェント、スキル、並列分解、マルチモデル計画を表現する。
論文 参考訳（メタデータ） (2026-05-27T15:27:25Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Reducing Maintenance Burden in Behaviour-Driven Development: A Paraphrase-Robust Duplicate-Step Detector with a 1.1M-Step Open Benchmark [1.9537983097153042]
振る舞い駆動開発スイートは、ドキュメント化されたメンテナンスコストとステップ重複の重複を蓄積します。
私たちはこれまでで最大の組織横断的なBDDステップコーパスをリリースします。
論文 参考訳（メタデータ） (2026-04-22T11:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。