論文の概要: Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done?

• arxiv url: http://arxiv.org/abs/2610.34241v1
• Date: Sun, 25 Oct 2026 12:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.564692
• Title: Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done?
• Title（参考訳）: ベンチマークを超えて:小さなオープンウェイトモデルで本当のコーディング作業が可能か?
• Abstract要約: このレポートは、コーディングクライアント間の2026年7月から10月までの私のエンジニアリング作業に続くものです。 サービスされたモデル、一貫性のあるテキスト、実行されたツール呼び出し、独立した振る舞いチェックをパスするコードは、明確な進捗レベルであることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Making an open-weight language model generate text is not the same as making it finish coding work. This retrospective empirical systems experience report follows my engineering work from July to October 2026 across coding clients, model-specific serving recipes, vLLM, SGLang, llama.cpp, and MLX. Models behind a nominally compatible endpoint still differed in tool-call formatting, turn control, context behavior, cache reuse, and reliability. A served model, coherent text, executed tool calls, and code that passes independent behavioral checks proved to be distinct levels of progress. The evidence includes 4,165 coding-agent gateway turns from my own sessions, 623 debug jobs, and three separate delegation studies with hidden behavioral checks and a fixed Claude Opus 5.5 parent. Saved cold-prefix requests had a median time to first token of about 69.4 s, versus 2.8 s for high-reuse requests (observational). In a 45-trial study, direct coding passed 15/15 and delegation to a quantized Qwen3-Coder 30B-A3B worker passed 12/15 and 14/15. On a second 15-task suite under a fixed artifact contract, the completed replacement cohort had 45/45 for direct coding and 12/45 for a Nemotron Cascade 2 worker (11 worker substitutions). Sixteen sessions stopped by a subscription limit before any model call were replaced; counting them as failures gives 37/45 and 8/45. A Qwen3-Coder worker passed 0/45. In both studies with a direct arm, direct coding had lower API list-price-equivalent frontier cost per verified success. A post-hoc diagnostic found that 19 of 36 artifacts rejected only for renamed parameters passed the hidden checks unchanged; they are not counted as successes. The contribution is an evidence-qualified account of serving, agent protocol, session continuity, artifact validation, and verification in practice. The studies are not pooled and do not rank models or runtimes.
• Abstract（参考訳）: オープンウェイトな言語モデルがテキストを生成するのは、コーディング作業を完了させるのと同じではありません。 この振り返り実証的なシステムエクスペリエンスレポートは、コーディングクライアント、モデル固有のサービスレシピ、vLLM、SGLang、llama.cpp、MLXなど、2026年7月から10月までの私のエンジニアリング作業に続くものです。 名目上互換性のあるエンドポイントの裏にあるモデルは、ツールコールフォーマッティング、ターンコントロール、コンテキスト動作、キャッシュ再利用、信頼性に相変わらず異なる。 サービスされたモデル、一貫性のあるテキスト、実行されたツール呼び出し、独立した振る舞いチェックをパスするコードは、明確な進捗レベルであることが判明した。 証拠には、私のセッションから4,165のコーディングエージェントゲートウェイ、デバッグジョブ623、隠れた振る舞いチェックと固定されたClaude Opus 5.5の親を持つ3つの別々のデリゲート研究が含まれている。 保存されたコールドプレフィックス要求は69.4秒のトークンに対して、高再利用リクエストでは2.8秒という中央値であった。 45-trial studyでは、直接符号化は15/15を、量子化されたQwen3-Coder 30B-A3Bワーカーは12/15、14/15を通過させた。 固定されたアーティファクト契約の下での第2の15タスクスイートでは、完了したリプレースコホートは直接コーディング用の45/45、ネモトロンカスケード2の12/45であった。 モデルコールが置き換えられる前に、サブスクリプションの制限で16セッションが停止し、失敗としてカウントすると、37/45と8/45が与えられる。 Qwen3-Coder が 0/45 を突破した。 両方の研究において、直接符号化は、検証された成功ごとにAPIリストの価格と等価なフロンティアコストを下げた。 ポストホック診断では、36のアーティファクトのうち19のアーティファクトが、名前を変えたパラメータのみを拒絶し、隠されたチェックを変更せずにパスした。 このコントリビューションは、サービス、エージェントプロトコル、セッション継続性、アーティファクトバリデーション、実際に検証に関するエビデンス認定された説明である。 研究はプール化されておらず、モデルやランタイムをランク付けしていない。

関連論文リスト

• SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
  ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。 我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。 クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
  論文  参考訳（メタデータ） (2026-10-23T05:47:59Z)
• Compile Once, Run Cheap: Frozen, Portable Skills for Embodied Agents, and What Recursive Self-Improvement Adds [4.289335484469464]
  Embodied AIは、言語モデルにエージェントとスキルを与えるデータ豊富な事前トレーニングを欠いているため、新たな操作能力には、各エピソードにおけるタスク毎のデモやフロンティアモデルが費やされる。 強力な汎用モデルは、凍結後のレイアウトの試験に合格するまで、シミュレーションの操作スキルを書き、実行し、診断し、修復するオフラインの著者としてのみ機能する。 私たちはこのスキルレベルの自己フィードバックSkill-RSIと呼び、コンパイルプロトコル(分離された監査済みの著者、隠れレイアウト、非改善と継承のみのコントロール、タンパの明確な台帳)と、実行中の再利用プロトコルを指定する。
  論文  参考訳（メタデータ） (2026-10-18T08:46:13Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• ControlScope: Workflow Revision and Reliability in LLM Agents [0.7460935829208671]
  ControlScopeは生成されたコードを比較し、次のツールコールのデータ引数を編集し、未完成のワークフローを同じ公開実行状態から置き換える。 タスク、ALFWorld、AppWorldで1回、繰り返しレビューを評価します。
  論文  参考訳（メタデータ） (2026-09-28T04:53:45Z)
• Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
  別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。 各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。 約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
  論文  参考訳（メタデータ） (2026-09-16T04:00:54Z)
• NovaFabric: Tamper-Evident, Replayable Evidence for Autonomous AI Agent Runs [0.0]
  我々はNovaFabricを紹介し、監査グレードの実行証拠を作成している。 エージェントロジックを変更することなく実行中のエージェントを、ポータブルなRun Capsuleに記録する。 シードランは4モードのリプレイプロトコルで再実行可能である。 我々は8つの研究課題を測定範囲で評価した。
  論文  参考訳（メタデータ） (2026-09-11T08:35:43Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Metis: Typed Runtime Mediation for Tool-Using Software Agents [13.543030296451661]
  コールが外部効果に達する前に、プロバイダストリームを型付きイベントに変換するマルチプロジェクタランタイムであるMetisを提示する。 我々はこれらのメカニズムを凍結した原材料上で評価した。
  論文  参考訳（メタデータ） (2026-08-26T03:10:03Z)
• Structured Feedback Improves Repair in an LLM Agent Loop [2.8890052855500143]
  LLMエージェントは、外部から候補を拒否した後で再試行されることが多いが、検証と次のモデル呼び出しの間のインターフェースは未特定のままである。 コード制御エージェントループであるVeriHarnessを導入し、モデルが候補を生成し、外部検証者が受け入れ、予算、トレースを制御する。 生の診断と、失敗位置、観測値、許容可能な代替品を識別するフィードバックを比較します。
  論文  参考訳（メタデータ） (2026-07-15T06:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。