論文の概要: Rethinking Neural Thickets Without Weight Perturbations

• arxiv url: http://arxiv.org/abs/2610.40649v1
• Date: Thu, 29 Oct 2026 17:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.559274
• Title: Rethinking Neural Thickets Without Weight Perturbations
• Title（参考訳）: 重度摂動を伴わないニューラルティケットの再考
• Abstract要約: ニューラル・シケッツ仮説は、事前訓練された言語モデルが重み空間におけるタスク固有の専門家の密集した地区にあることを示唆している。 報告された利益を再現するが、この説明は不要であることを示す。 これは、出力の多様性、バリデーションベースの選択、投票に基づく別の説明を示唆している。
• 参考スコア（独自算出の注目度）: 32.744896055615094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Neural Thickets hypothesis posits that pretrained language models lie in dense neighborhoods of task-specific experts in weight space, which random Gaussian perturbations can uncover. We reproduce the reported gains, but show that they do not require this geometric explanation. Perturbing a single decoder block already recovers much of the improvement, while keeping the model entirely frozen and adding a random bias to its output logits matches or exceeds full-weight perturbations on most reasoning tasks. This suggests an alternative explanation based on output diversity, validation-based selection, and voting. We formalize this view as Perturb-Select-Vote (PSV), a general procedure that generates perturbed predictors, selects high-performing members on a small validation set, and aggregates their predictions. This interpretation connects Neural Thickets to established inference-time methods, including sampling, self-consistency, and verifier-guided selection. A first-order analysis further shows that small weight perturbations act primarily through their induced logit shifts. We extend this analysis to vision, where logit PSV substantially improves performance under domain shift, including on Earth observation, while full-weight perturbations provide little additional benefit. Together, these results suggest that the gains attributed to nearby weight-space experts can instead be obtained through output diversity, selection, and voting. Logit PSV realizes these benefits with a fully frozen model, providing a simple, training-free alternative to full-weight perturbation ensembles across language and vision.
• Abstract（参考訳）: ニューラル・シケッツ仮説は、事前訓練された言語モデルは、ウェイト空間におけるタスク固有の専門家の密集した地区に存在し、ランダムなガウス摂動が発見できると仮定している。 我々は報告された利得を再現するが、それらがこの幾何学的説明を必要としないことを示す。 単一デコーダブロックの摂動は、モデルを完全に凍結し、出力ログにランダムなバイアスを加えたり、ほとんどの推論タスクでフルウェイトな摂動を超えたりしながら、既に改善の大部分が回復している。 これは、出力の多様性、バリデーションベースの選択、投票に基づく別の説明を示唆している。 我々は、この見解を、摂動予測器を生成する一般的な手順であるPerturb-Select-Vote (PSV) として定式化し、小さな検証セット上でハイパフォーマンスなメンバを選択し、それらの予測を集約する。 この解釈は、ニューラルネットワークをサンプリング、自己整合性、検証者誘導選択など、確立された推論時間法に結びつける。 1次解析により、小重量の摂動は、主に誘導ロジットシフトによって作用することが示された。 我々は、この分析を視覚に拡張し、ロジットPSVは、地球観測を含む領域シフト時のパフォーマンスを大幅に改善する一方、フルウェイト摂動は、追加の恩恵をほとんど与えない。 これらの結果は、近隣の重量空間の専門家による利得は、出力の多様性、選択、投票によって得られることを示唆している。 Logit PSVは、これらの利点を完全に凍結されたモデルで実現し、言語とビジョンをまたいだフルウェイトな摂動アンサンブルに対する、シンプルでトレーニングなしの代替手段を提供する。

関連論文リスト

• Beyond Saying Less: Fine-Grained Alignment for Informative and Faithful Vision-Language Models [71.46915245859357]
  物体幻覚は、大きな視覚言語モデルにとって依然として大きな課題である。 本稿では,データレベルでの高密度報酬信号と,アルゴリズムレベルでの正確な信用割当を結合する微粒化アライメントフレームワークを提案する。 本手法は, 識別評価において, 顕著な性能向上を図りながら, 生成タスクにおける高情報かつ忠実な記述を生成する。
  論文  参考訳（メタデータ） (2026-09-28T14:37:33Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Shaking to Reveal: Perturbation-Based Detection of LLM Hallucinations [25.18901449626428]
  自己評価として知られる幻覚を検出するための広く採用されている戦略は、その答えの事実的正確さを推定するために、モデル自身の出力信頼度に依存する。 中間表現における摂動感度を解析することにより自己評価を改善する新しいフレームワークSSPを提案する。 SSPは幻覚検出ベンチマークの範囲で先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:44:28Z)
• Differentiable Pareto-Smoothed Weighting for High-Dimensional Heterogeneous Treatment Effect Estimation [0.6906005491572401]
  重み付き表現学習による数値的ロバストな推定器を開発する。 提案手法は,重み値を効果的に補正することにより,既存手法よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-04-26T15:34:04Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。