論文の概要: Analysis of Local Open-Weight LLM Agents on Vulnerability-Reproduction Tasks

• arxiv url: http://arxiv.org/abs/2611.06257v1
• Date: Wed, 04 Nov 2026 10:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.049947
• Title: Analysis of Local Open-Weight LLM Agents on Vulnerability-Reproduction Tasks
• Title（参考訳）: 脆弱性再現課題における局所オープンウェイトLDMエージェントの解析
• Abstract要約: 単一のコンシューマGPUに適合するオープンウェイトな言語モデルは、さまざまなタスクで可能になっています。 脆弱性記述を脆弱性のあるビルドをクラッシュさせる入力に変換する脆弱性の再現は、それらにとって自然なターゲットである。 我々は,CyberGymの脆弱性再現タスク10件について,12のローカルモデルの構成を3世代,2つのアーキテクチャ,3つの量子化レベルで評価した。
• 参考スコア（独自算出の注目度）: 41.177497612345995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-weight language models that fit on a single consumer GPU are becoming capable on a growing range of tasks, and they matter because they can run locally without sending the code to a hosted service. Vulnerability reproduction, turning a vulnerability description into an input that crashes the vulnerable build, is a natural target for them, since it is an automated analysis task closer to test generation than to code comprehension and it runs against a build that must be executed rather than read. In order to assess whether current models can perform it, we evaluate twelve configurations of local models, spanning three generations, two architectures and three quantization levels, on ten CyberGym vulnerability-reproduction tasks, three runs each under one harness, and release the full artefact. We show that every configuration, down to the 4B model, solves most of the six easier tasks, and configurations separate only on the remaining four. For the harder tasks, the 27B model is required. Quantization did not change what the models solved in any matched pair, but it changed how fast they got there, and the mixture of experts reached the same scores in less wall clock. We also examine the agent trajectories. Almost every run we examined, including those that fail, names the vulnerable function and states the correct hypothesis, and what separates a solved task from an unsolved one is whether that hypothesis becomes a working input.
• Abstract（参考訳）: 単一のコンシューマGPUに適合するオープンウェイトな言語モデルは、さまざまなタスクで有効になっている。 脆弱性記述を脆弱性のあるビルドをクラッシュさせる入力に変換する脆弱性再現は、コード理解よりもテスト生成に近い自動解析タスクであり、読み取りではなく実行しなければならないビルドに対して実行されるため、それらにとって自然なターゲットである。 現在のモデルが実行可能であるかどうかを評価するため,CyberGymの脆弱性再現タスク10件で3世代,2つのアーキテクチャ,3つの量子化レベルにまたがる12のローカルモデル構成を評価し,それぞれを1つのハーネスで実行し,完全な成果物を解放する。 4Bモデルに至るまで、すべての構成が6つの簡単なタスクのほとんどを解決し、残りの4つでのみ構成が分離されることを示す。 難しいタスクには、27Bモデルが必要です。 量子化は、一致したペアでモデルが解決したものを変えなかったが、そこにどれだけの速度で到達したかを変え、専門家の混在はウォールクロックを減らして同じスコアに達した。 エージェントの軌跡も調べる。 失敗し、脆弱な関数を名付け、正しい仮説を述べ、解決されたタスクを未解決のタスクから切り離すものは、その仮説が動作中の入力になるかどうかである。

関連論文リスト

• Decompose, Don't Expand: Capability-Independent AI Systems by Construction [0.0]
  モデルに一般的に委譲される多くのタスクは、実際には小さな生成コアを持つ決定論的タスクであることを示す。 我々はこれを494Mパラメータのローカルチェックポイントからフロンティアオプスクラスのモデルにまたがる9つのモデルで測定する。 タスクがモデルを離れるため、ストックチェックポイントは十分である。
  論文  参考訳（メタデータ） (2026-10-28T01:28:24Z)
• InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell? [3.2714937600999687]
  InfraDevは現実世界のプルリクエストからMegatron-LM, vLLM, verlに構築された36のタスクのベンチマークである。 各タスクはエージェントに、多くのファイルにまたがる真の変更を再実装するよう要求する。 タスク間の依存関係やアーティファクトを再利用し,ストレージを52～57%削減し,Megatron-LMとvLLMでビルド時間を13～14%短縮する共有実行環境を設計する。
  論文  参考訳（メタデータ） (2026-10-27T03:47:47Z)
• AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
  我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。 5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。 ハーネスは推論の精度を常に改善しないことがわかった。
  論文  参考訳（メタデータ） (2026-10-14T14:04:48Z)
• PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution [68.74093425009342]
  推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。 PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。 PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
  論文  参考訳（メタデータ） (2026-10-03T20:03:43Z)
• From Dead Code and Static Requirements to Working Engines: Software Revival with Coding Agents [14.661282304807145]
  ReviveBenchは、ネイティブ実行環境に対する隠れ検証によって評価された2つのタスクファミリを持つベンチマークである。 リカバリファミリーは、依存関係の非互換性、削除されたコアモジュール、レガシビルド、GPUベースのファンデーションモデルを含む10のタスクで構成される。 再構成ファミリーは、数値、幾何学、ハードウェア、取引システムにまたがる13のタスクからなる。
  論文  参考訳（メタデータ） (2026-09-28T19:30:12Z)
• MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
  MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。 生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
  論文  参考訳（メタデータ） (2026-08-31T16:05:39Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers [0.0]
  固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。 現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。 最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
  論文  参考訳（メタデータ） (2026-07-10T12:25:57Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。