論文の概要: WeightLoop: Weight-Space Programming with Experimental Feedback
- arxiv url: http://arxiv.org/abs/2611.07319v1
- Date: Thu, 05 Nov 2026 02:06:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.487994
- Title: WeightLoop: Weight-Space Programming with Experimental Feedback
- Title（参考訳）: WeightLoop:実験的なフィードバックによる軽量スペースプログラミング
- Abstract要約: 重み空間プログラミングは、言語モデルがニューラルネットワークの重みを推論し書き直せることを示している。
WeightLoopは、実験的なフィードバックを、デプロイされた予測器の永続的な更新に変換するフレームワークです。
- 参考スコア（独自算出の注目度）: 74.5656392390298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight-space programming (WSP) shows that language models can reason about and rewrite neural network weights; recursive self-improvement (RSI) motivates feedback-driven improvement. Models guiding experiments receive concrete feedback: completed assays reveal prediction errors and inform what to test next. We introduce WeightLoop, a framework that turns experimental feedback into persistent updates to deployed predictors. GPT-6 Astra inspects a task specification and the model implementation, then writes a bounded, reusable parameter-editing program. As new measurements arrive, the program identifies prediction discrepancies, validates candidate edits using observed outcomes, and writes the selected changes back to the original model. The editor remains fixed while the predictor evolves, enabling repeated updates without further LLM calls or gradient retraining while preserving the original inference interface. In offline replay, targeted edits improve mean ranking utility in seven of eight endpoint-budget settings (all eight versus random edits) and mean final discovery across three sequential tasks. WeightLoop connects WSP with an RSI-inspired improvement loop, making experimental evidence a direct driver of model change and subsequent decisions.
- Abstract（参考訳）: 重み空間プログラミング(WSP)は、言語モデルがニューラルネットワークの重みを推論し書き直せることを示し、再帰的自己改善(RSI)はフィードバック駆動型改善を動機付けている。
実験を導くモデルは具体的なフィードバックを受け取り、完了したアッセイは予測エラーを明らかにし、次に何をテストすべきかを知らせる。
WeightLoopは、実験的なフィードバックを、デプロイされた予測器の永続的な更新に変換するフレームワークです。
GPT-6 Astraはタスク仕様とモデル実装を検査し、境界付き再利用可能なパラメータ編集プログラムを記述する。
新しい測定が到着すると、プログラムは予測の不一致を特定し、観測結果を用いて候補編集を検証し、選択した変更を元のモデルに書き戻す。
エディタは、予測器が進化している間に固定され、元の推論インターフェイスを保ちながら、さらなるLCM呼び出しや勾配再トレーニングをせずに繰り返し更新できる。
オフラインのリプレイでは、ターゲット編集は8つのエンドポイント予算設定(すべて8対ランダム編集)のうち7つの平均ランク付けユーティリティを改善し、3つのシーケンシャルなタスクで最終発見を行う。
WeightLoopは、WSPをRSIにインスパイアされた改善ループに接続し、実験的な証拠をモデル変更とその後の決定の直接的な要因とします。
関連論文リスト
- RolloutFaith: Auditing Persistent Internal Interventions in Visual World Model [11.942252550966641]
解釈可能性法は、モデルの現在の計算を明らかにしたり、修正したりするように設計されている。
世界モデルは、それらの予測が後の予測への入力になるため、編集が停止した後、有用な内部修正が生き残らなければならない。
このフレームワークは、介入時の予測と、固定されたイベント、アクション、ノイズ、情報予算の下での後の自律予測の両方において意味的改善を測定する。
論文 参考訳（メタデータ） (2026-09-29T06:54:31Z) - Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining [33.69413571438309]
終末変動に対する最近の進展のバランスをとるために, 頭頂部収縮平均化(TSA)を提案する。
局所2次近似を用いて,TSAが望ましい終末学習率のスケジュールをどのように変更するかを解析する。
その結果,Depth-22 NanoChatへの転送が得られ,スケジュールと推定器の組み合わせで検証精度が向上することを示した。
論文 参考訳（メタデータ） (2026-09-21T23:19:17Z) - REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。
REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。
このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
論文 参考訳（メタデータ） (2026-08-31T11:34:19Z) - Benchmarking Code Improvement with Progressive, Adaptive, and Interactive Feedback [13.976149104483449]
PAIR-Benchは、大規模言語モデル(LLM)を評価するためのプログレッシブベンチマークである。
不正確なプログラムや不完全なプログラムを、フィードバック誘導による改善によって、より正しいプログラムに変換する。
モデルがターゲットの障害を修復するかどうかを計測し、ヒントを超えて一般化し、すでに正しい振る舞いを保持し、どのくらいの助けが必要なのかを測定します。
論文 参考訳（メタデータ） (2026-07-01T18:20:27Z) - Do Language Models Converge to Themselves? Recursive Self-Refinement as Textual Relaxation [0.6509233267425589]
我々は、デフォルト温度と決定論的デコーディングの両方の下で、50のICML 2025抽象に対して10ステップの洗練トラジェクトリを生成する。
正規化編集距離, 精度および近似固定点, 単語数安定性, 指数緩和, 外部LCM-as-a-judge評価を解析した。
論文 参考訳（メタデータ） (2026-06-26T13:44:53Z) - PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise [60.63315470285562]
MiniTruePrefixesは、テキストプレフィックスよりも事実上の矛盾をよりよく検出する、新しい特殊モデルである。
制御されたデコードフレームワークにMiniTruePrefixesを組み込むことで,抽象的な要約における現実の一貫性が大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-11-03T09:07:44Z) - Robust Visual Tracking via Iterative Gradient Descent and Threshold Selection [4.978166837959101]
本稿では, 誤差ベクトルがガウス-ラプラシアン分布に従えば, 良好な性能が得られる新しい線形回帰推定器を提案する。
さらに、IGDTSを生成トラッカーに拡張し、IGDTS距離を適用してサンプルとモデル間のずれを測定する。
いくつかの難解な画像列の実験結果から,提案したトラッカーは既存のトラッカーより優れていた。
論文 参考訳（メタデータ） (2024-06-02T01:51:09Z) - Deep Graph Reprogramming [112.34663053130073]
グラフニューラルネットワーク(GNN)に適したタスク再利用モデル「ディープグラフ再プログラミング」
本稿では,モデル再プログラミングパラダイムと並行して,革新的なデータ再プログラミングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-04-28T02:04:29Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳（メタデータ） (2022-06-13T23:40:34Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。