論文の概要: WeightBench: Evaluating Language Models as Weight-Space Programmers
- arxiv url: http://arxiv.org/abs/2611.18553v1
- Date: Fri, 13 Nov 2026 18:58:08 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:24.454964
- Title: WeightBench: Evaluating Language Models as Weight-Space Programmers
- Title(参考訳): WeightBench: ウェイトスペースプログラマとしての言語モデルの評価
- Abstract要約: 最近の研究は、大きな言語モデル(LLM)が他のニューラルネットワークのパラメータを直接操作可能であることを示している。
WEIGHTBENCHは,5トラックにわたる42のタスクにおいて,LLMの能力向上を評価するベンチマークである。
我々は、フロンティアエージェントが、それを実行することなく、既に小さなネットワークを読み、動作制御ポリシーを書くことができるが、まだ言語モデルにパッチを当てたり、データなしで圧縮したり、難しいものから不可能な編集を伝えることはできないことを示した。
- 参考スコア(独自算出の注目度): 1.2744523252873352
- License:
- Abstract: Recent work shows that large language models (LLMs) can operate directly on the parameters of other neural networks. They can read what a network was trained to do, fix a network that fails, and write working networks from scratch, all without gradient descent. This capability has been termed Weight-Space Programming (WSP). Exploring this new paradigm systematically requires a robust benchmark. We introduce WEIGHTBENCH, a benchmark that evaluates LLMs of increasing capability on 42 WSP tasks across five tracks: reading, fixing and writing weights, recognizing edits that are impossible, and data-free compression. The networks whose weights the LLMs read and edit range from 2K-parameter control policies to 7B-parameter language models. Experimental benchmark results show that frontier agents can already read small networks and write working control policies without ever running them, but cannot yet patch language models, compress them without data, or tell an impossible edit from a hard one. On all 42 tasks, Claude Opus 5.5 reaches a macro score of 0.535 (Sonnet 5.5 0.466, Haiku 5.5 0.402, DeepSeek v4-flash 0.215); on the 38 tasks it was run on, GPT-6.1-sol reaches 0.568 against Opus's 0.546. Code, the task registry, our OS-level sandbox harness, and the live leaderboard are publicly available at https://github.com/Aayush-Marasini/WeightBench.
- Abstract(参考訳): 最近の研究は、大きな言語モデル(LLM)が他のニューラルネットワークのパラメータを直接操作可能であることを示している。
ネットワークが何をするかを学習し、失敗するネットワークを修正し、ネットワークをスクラッチから書き出すことができる。
この機能は、WSP(Weight-Space Programming)と呼ばれる。
この新しいパラダイムを体系的に探求するには、堅牢なベンチマークが必要です。
ウィートベンチ(WEIGHTBENCH)は,42個のWSPタスクの読み込み,修正,書き込み,不可能な編集の認識,データフリー圧縮という5つのトラックにおけるLCMの能力向上を評価するベンチマークである。
LLMを重み付けするネットワークは、2Kパラメータ制御ポリシーから7Bパラメータ言語モデルまで様々である。
実験的なベンチマークの結果、フロンティアエージェントは小さなネットワークを読み、実行せずに動作制御ポリシーを書けるが、まだ言語モデルにパッチを当てたり、データなしで圧縮したり、難しいものから不可能な編集を伝えることはできない。
42タスクすべてで、Claude Opus 5.5は0.535(Sonnet 5.5 0.466、Haiku 5.5 0.402、DeepSeek v4-flash 0.215)のマクロスコアに達した。
コード、タスクレジストリ、OSレベルのサンドボックスハーネス、ライブのリーダボードはhttps://github.com/Aayush-Marasini/WeightBench.comで公開されています。
関連論文リスト
- Can LLMs Write Backdoors? An Empirical Security Study of Weight-Space Programming [4.632897214391829]
大規模な言語モデルは、従来のトレーニングを使わずに、ニューラルネットワークの重みを検査および修正することができる。
LLMはバックドアを注入するために重み空間プログラミングを利用できますか?
バックドアインジェクションのためのLLM駆動の重み空間プログラミングに関する実証的セキュリティ研究について述べる。
論文 参考訳(メタデータ) (2026-11-12T16:41:07Z) - Computation, not weight access: large language models as auditors of clinical prediction networks [15.991966510883126]
大規模言語モデル(LLM)は、小さなニューラルネットワークの重みを読み、編集し、書くために報告されている。
これらのネットワークを監査するために重要なのは計算と誘導であり、重みにはアクセスしなかった。
論文 参考訳(メタデータ) (2026-11-05T11:28:04Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳(メタデータ) (2026-07-07T15:41:22Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳(メタデータ) (2026-05-11T17:49:43Z) - SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution [56.9361004704428]
大規模言語モデル(LLM)は、様々な複雑なタスクにまたがる顕著な習熟度を示している。
SWE-Fixerは、GitHubの問題を効果的かつ効率的に解決するために設計された、新しいオープンソースフレームワークである。
我々は,SWE-Bench LiteとVerifiedベンチマークに対するアプローチを評価し,オープンソースモデル間の競合性能を実現する。
論文 参考訳(メタデータ) (2025-01-09T07:54:24Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。