論文の概要: Does Random Search Discover Task Experts? Revisiting Neural Thickets

• arxiv url: http://arxiv.org/abs/2611.01262v1
• Date: Sat, 31 Oct 2026 21:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.460197
• Title: Does Random Search Discover Task Experts? Revisiting Neural Thickets
• Title（参考訳）: ランダム検索でタスクエキスパートが見つかるか?
• Abstract要約: Gan & Isola (2026) は、事前訓練されたモデルは、タスクスペシャリストの密集した神経厚みにあると提案した。 タスク固有の専門家の神経肥大を調べた結果,この視点に疑問を呈するいくつかの重要な知見が明らかになった。 その結果、事前訓練されたモデルに関するタスクエキスパートを明らかにするのにランダムな重量摂動は効果がない可能性が示唆された。
• 参考スコア（独自算出の注目度）: 11.627010628214256
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pretrained models are typically viewed as generalists, requiring bespoke post-training to achieve task-specific expertise. Gan & Isola (2026) recently proposed a striking alternative: that pretrained models lie in a dense neural thicket of task specialists, which can be surfaced with simple Gaussian weight perturbations. We examine this neural thicket of task-specific experts and identify several key findings that question this perspective. First, we find that the apparent lift of the best-of-N selected perturbation decays quickly with selection-set size m, strongly suggesting overfitting to the selection questions. In fact, for 10 of the 12 model-task pairs we study, a simple null model of pure selection noise predicts more than 75 percent of the top expert's reward lift. Second, the top experts' advantage often vanishes on held-out questions or remains within the run-to-run variability of the unperturbed pretrained model. Third, we find that majority voting over the top-K selected perturbations, termed RandOpt(N, K) by Gan & Isola (2026), is often matched or outperformed by majority voting over K samples from the base model. Overall, our results suggest that random weight perturbations may be ineffective at uncovering task experts around pretrained models, and that task adaptation requires more sophistication than random search. Code and artifacts are available at github.com/asil012/RevisitingNeuralThickets.
• Abstract（参考訳）: 事前訓練されたモデルは一般的にジェネラリストと見なされ、タスク固有の専門知識を達成するためには、訓練後見習いが必要である。 Gan & Isola (2026) は、最近目立った代替案を提案した: 事前訓練されたモデルは、タスクスペシャリストの密集した神経厚みの中にあり、単純なガウスの重量摂動で表面化できる。 タスク固有の専門家の神経肥大を調べた結果,この視点に疑問を呈するいくつかの重要な知見が明らかになった。 まず、最良N選択摂動の明らかな昇降は、選択セットサイズ m で急速に減衰し、選択問題に過度に適合することを強く示唆する。 実際、12のモデルとタスクのペアのうち10について、純粋な選択ノイズの単純なヌルモデルは、トップエキスパートの報酬の75%以上を予測します。 第二に、トップエキスパートのアドバンテージは、しばしばホールドアウトされた質問で消えるか、あるいは未学習の事前学習モデルの実行から実行までの変数の中に留まる。 第3に、Gan & Isola (2026) によるRandOpt(N, K) と呼ばれるトップK選択摂動に対する過半数の投票は、ベースモデルからのKサンプルに対する過半数の投票で一致または上回っている。 以上の結果から, 乱数重みの摂動は, 事前訓練されたモデルに関するタスクエキスパートの発見に有効でなく, 乱数探索よりも高度化を必要とする可能性が示唆された。 コードとアーティファクトはgithub.com/asil012/RevisitingNeuralThicketsで入手できる。

関連論文リスト

• Small Foundation Models of Human Cognition and Behaviour [45.88028371034407]
  135Mから14Bパラメータの14モデルを、Psych-101の4つのアーキテクチャファミリでトレーニングしています。 Psych-101は160の実験から1070万の試行レベルの選択のデータセットである。 認知的に微調整された小さなモデルは、心理的実験のためのノイズ天井推定器として有望であることを示す。
  論文  参考訳（メタデータ） (2026-08-05T11:34:20Z)
• Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights [32.68928697721277]
  この分布の体積の負の分数を占めるような専門家解の小さなモデルで示している。 パラメータ摂動をランダムにサンプリングし、上位の$K$を選択し、多数決で予測をアンサンブルする、単純で完全に並列なポストトレーニング手法を探索する。
  論文  参考訳（メタデータ） (2026-03-12T17:49:30Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Few-Shot Question Answering by Pretraining Span Selection [58.31911597824848]
  私たちは、数百のトレーニング例しか利用できない、より現実的な数ショット設定を探索します。 標準スパン選択モデルの性能が低下していることを示し,現在の事前学習目標が質問応答から遠ざかっていることを浮き彫りにした。 本研究は,事前学習方式とモデルアーキテクチャの注意深い設計が,数ショット設定における性能に劇的な影響を及ぼすことを示唆している。
  論文  参考訳（メタデータ） (2021-01-02T11:58:44Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。