論文の概要: Why and When Neural Networks Improve Local Approximation in Optimization
- arxiv url: http://arxiv.org/abs/2608.24963v1
- Date: Tue, 25 Aug 2026 07:35:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.301569
- Title: Why and When Neural Networks Improve Local Approximation in Optimization
- Title（参考訳）: ニューラルネットワークが最適化における局所近似を改善する理由と時期
- Abstract要約: この矛盾は3つの要因が記述された後に解消され、学習した局所モデルが支払った場合、トレーニング曲線が報告する適合精度よりも、むしろ逸脱していることが示される。
我々は半径対応局所一般化を定式化し、それを古典的完全線型条件に関連付け、固定されたサロゲートクラス、トレーニングパイプライン、ベースメソッドで各因子をテストする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Published experience with neural surrogates in derivative-free optimisation is contradictory: the same family of models that cuts the evaluation count of one solver leaves another unchanged, or makes it worse. We show that the contradiction dissolves once three factors are stated, and that these, rather than the fit accuracy a training curve reports, are what delimit when a learned local model pays. Role: a surrogate that proposes candidates the true objective must still approve helps, while one that replaces a gradient the solver depends on hurts. Radius: a model fitted to an optimisation path is reliable only inside a bounded neighbourhood, and its error neither vanishes as that neighbourhood shrinks nor survives its growth. Room: a surrogate can only accelerate progress the base method is still able to make. We formalise radius-aware local generalisation, relate it to the classical fully linear condition, and test each factor with the surrogate class, training pipeline and base method held fixed. Over 117 benchmark instances safeguarded assistance raises the instances solved to high accuracy from 67 to 84 while gradient replacement lowers them to 65; removing the gradient term from the training loss cuts surrogate acceptance from 0.703 to 0.148; and 1000 paired comparisons over ten noise levels show no noise threshold, only a base method that stops early. The same factors bound the gain: a model-based trust-region solver, which leaves little room, drops from 88 to 86 when the identical surrogate is attached, and released interpolation software stays ahead at 103, and on a Monte-Carlo inventory model repairing the acceptance interface is worth 10.40 cost units against 0.00 for the surrogate.
- Abstract（参考訳）: デリバティブフリー最適化におけるニューラルサロゲートの公開経験は矛盾する: 1つのソルバの評価数を減らした同じモデルのファミリーは、他のソルバを変更せず、悪化させる。
この矛盾は3つの要因が記述された後に解消され、学習した局所モデルが支払った場合、トレーニング曲線が報告する適合精度よりも、むしろ逸脱していることが示される。
役割: 候補者を提案する代理役 真の目的は依然として助けを承認しなければなりません。
ラディウス(Radius): 最適化経路に適合したモデルは、有界な近傍でのみ信頼でき、その誤差は、その近傍が縮小し、その成長を生き残るために消えることはない。
Room: サブロゲートは、ベースメソッドがまだ実行可能な進捗を加速するのみです。
我々は半径対応局所一般化を定式化し、それを古典的完全線型条件に関連付け、固定されたサロゲートクラス、トレーニングパイプライン、ベースメソッドで各因子をテストする。
117以上のベンチマークインスタンスが保護されたアシストにより67から84に高精度で解決され、勾配置換により65に低下し、トレーニング損失からの勾配項が0.703から0.148に減少し、1000対のノイズレベル比較がノイズ閾値を示さず、早期に停止するベースメソッドのみである。
モデルベースの信頼領域解決器は、部屋をほとんど残さず、同一のサロゲートが取り付けられたときに88から86に低下し、インターポーテーションソフトウェアは103に先行し、モンテカルロのインベントリモデルでは、サロゲートの0.00に対して10.40ドルの価値がある。
関連論文リスト
- Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。
中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。
配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
論文 参考訳（メタデータ） (2026-08-12T09:04:54Z) - Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳（メタデータ） (2026-08-11T07:58:17Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models [9.240704665480939]
本稿では, 崩壊した生成パターンから生じる異常な信頼度を解析し, 補償する原理的枠組みを提案する。
結果として生じる自己正規化ペナルティ比$R=f(m,n,p)/f(np,n,p)$は、アドホックな標準化を必要としない。
論文 参考訳（メタデータ） (2026-07-17T17:01:57Z) - Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI [2.2616066835313253]
7つのカテゴリと3つの難易度で86のPicoCTF課題を実行し、3つのツールアクセスレジームと3つのモデル/クライアント構成で実行します。
既存のツール,エージェント・ビヘイビアの変更,11の新たな機能ツールに修正を適用し,これまで未経験だったトライアルを再実行します。
全体の解決率は55.4%から72.0%に上昇し、全ての構成が大幅に改善される。
論文 参考訳（メタデータ） (2026-07-03T02:20:04Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳（メタデータ） (2026-06-10T21:07:49Z) - When Attribution Patching Lies: Diagnosis and a Second-Order Correction [9.338965648455238]
本研究は, 下流ネットワークの非直線性に起因する誤差が, パッチ成分の局所曲率よりも大きいことを示す。
この洞察は、(i)信頼できない見積もりを検出するための信頼性スコア、(ii)エラー境界がポテンシャル属性の誤特定を定量化すること、(iii)Hessian-vector-product correctが1つの後進パスで先行エラーを除去すること、の3つの実用的なツールをもたらす。
論文 参考訳（メタデータ） (2026-06-05T05:20:32Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳（メタデータ） (2025-11-12T23:09:52Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。