論文の概要: Heteroskedastic Signals in Budgeted LLM Verification: Structural Heterogeneity Limits Optimization Gains

• arxiv url: http://arxiv.org/abs/2606.15841v1
• Date: Sun, 14 Jun 2026 14:45:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.887721
• Title: Heteroskedastic Signals in Budgeted LLM Verification: Structural Heterogeneity Limits Optimization Gains
• Title（参考訳）: 予算LDM検証における不均質信号:構造的不均質性は最適化の限界を増す
• Abstract要約: 大規模言語モデル(LLM)システムは、検証、テストタイムのスケーリング、ツールの実行、その他の選択的な計算処理に限定的な計算を割り当てるために不確実性信号を使用するようになっている。 我々は,不確実性の品質がコスト層全体で不均一であることを示し,多くのエラーが集中しているにもかかわらず,ほぼランダムな差別性を示す地域もあることを示した。
• 参考スコア（独自算出の注目度）: 4.560961083890857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) systems increasingly use uncertainty signals to allocate limited computation across verification, test-time scaling, tool execution, and other selective-compute decisions. Such policies rely on a \emph{global signal comparability assumption}: equal scores should carry comparable decision value across inputs. Using budgeted verification as a controlled diagnostic setting, we identify a failure mode of this assumption: uncertainty quality is heteroskedastic across cost strata, with some regions exhibiting near-random discriminability despite concentrating many errors. Under an explicit local model, we characterize the resulting distortion of global allocation and show that its upper bound scales with cross-stratum signal-quality dispersion. We separate weak signals, optimization instability, and structural heterogeneity through a controlled intervention hierarchy: Threshold, MP-Adapt, MP-Strat, and a deliberately simple cost-stratified thresholding intervention (CST). Across MBPP and MATH using Qwen3-8B, LLaMA3-8B, and GPT-4o-mini, global online adaptation yields inconsistent gains over static thresholding; MP-Strat partially recovers performance, while CST improves hit rate by up to 17 percentage points in strongly heterogeneous settings without gradient updates. These results identify structural heterogeneity, rather than optimizer weakness alone, as the primary bottleneck in the observed settings. More broadly, misaligned feedback structure cannot always be repaired by stronger optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)システムは、検証、テストタイムのスケーリング、ツールの実行、その他の選択的な計算処理に限定的な計算を割り当てるために不確実性信号を使用するようになっている。 このようなポリシーは \emph{global signal comparability assumption} に依存している。 予算検証を制御された診断条件として用いて、不確実性の品質はコスト層全体で不均一であり、多くのエラーが集中しているにもかかわらず、ほぼランダムな差別性を示す地域もあるという仮定の失敗モードを特定した。 明示的な局所モデルの下では,大域的アロケーションの歪みを特徴付けるとともに,その上界が信号品質の拡散を伴うことを示す。 我々は、制御された介入階層(Threshold、MP-Adapt、MP-Strat、そして故意にコスト階層化されたしきい値介入(CST))を通して、弱い信号、最適化の不安定性、構造的不均一性を分離する。 Qwen3-8B, LLaMA3-8B, GPT-4o-miniを用いたMBPPおよびMATH全体で、グローバルオンライン適応は静的しきい値よりも一貫性のない利得を得る。 これらの結果は、観測された設定における主要なボトルネックとして、オプティマイザの弱点のみではなく、構造的不均一性を識別する。 より広義には、より強力な最適化によって、不整合フィードバック構造を常に修復することはできない。

関連論文リスト

• SPARC: Single-Pass Scaling for Motion Forecasting with Conformal Bayesian Last Layers [1.4452289368758382]
  シングルパス適応リスク(英: Single-Pass Adaptive Risk)は、人間の動き予測器に対する構造的、校正的、効率的な不確実性推定である。 決定論的バックボーンは将来の平均を予測し、共役ベイズ最後の層は時間領域の特徴レバレッジを解析的地平線スケールに変換する。 NLLと組み合わせたMPJPE+NLLの基準では、競争点の精度と効率的な校正管を維持している。
  論文  参考訳（メタデータ） (2026-08-21T07:20:22Z)
• Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
  双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。 既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
  論文  参考訳（メタデータ） (2026-06-21T10:57:37Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• UnGAP: Uncertainty-Guided Affine Prompting for Real-Time Crack Segmentation [16.902729686979303]
  UPFM(Uncertainty-Prompted Feature Modulator)は、単に出力ではなく、アクティブな視覚的プロンプトとして、アレタリック不確実性を扱う。 UnGAPは、より優れたセグメンテーション精度とリアルタイムの推論速度のバランスをとる。
  論文  参考訳（メタデータ） (2026-05-04T09:18:57Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Beyond Semantic Priors: Mitigating Optimization Collapse for Generalizable Visual Forensics [12.973951916863989]
  我々は,非セマンティックなフォージェリーのランダムな推測にデジェネレーションを施した「最適化崩壊」と呼ばれる故障モードを同定する。 計算効率の良いCGP(Contrastive Gradient Proxy)と3つのトレーニングフリー戦略を統合したContrastive Regional Injection Transformer(CoRIT)を提案する。 CoRITは最適化の崩壊を緩和し、クロスドメインおよびユニバーサルフォージェリーベンチマーク間の最先端の一般化を実現する。
  論文  参考訳（メタデータ） (2026-03-25T08:03:30Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Representation Geometry as a Diagnostic for Out-of-Distribution Robustness [0.5978543974412219]
  In-distribution Embeddingsからクラス条件の相互k-nearest-neighborグラフを構成する幾何学的診断フレームワークを提案する。 スペクトルの複雑さが低く、平均曲率が高くなると、チェックポイント全体にわたって強い分布外(OOD)の精度が常に予測される。 この結果から,表現幾何学はラベル無しで解釈可能な診断を可能にし,教師なしチェックポイント選択の信頼性をサポートできることが示唆された。
  論文  参考訳（メタデータ） (2026-02-03T19:13:36Z)
• ETR: Outcome-Guided Elastic Trust Regions for Policy Optimization [6.716883192613149]
  textbfElastic textbfTrust textbfETRを提案する。 ETRはGRPOを一貫して上回り、より優れた精度を実現し、政策エントロピー劣化を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-01-07T09:19:53Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。