論文の概要: Model of Models: When Does Emitting a Specialist Beat Attending, Adapting, or Tuning?

• arxiv url: http://arxiv.org/abs/2608.21386v1
• Date: Mon, 20 Jul 2026 17:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.323487
• Title: Model of Models: When Does Emitting a Specialist Beat Attending, Adapting, or Tuning?
• Title（参考訳）: モデルモデル: スペシャリストのビートアテンディング、アダプティング、チューニングはいつ終わるのか?
• Abstract要約: 我々は、回帰、生成、言語モデリング、強化学習、臨床およびゲノム分類の6つのタスクで同一の4方向比較を実行する。 排出の最も明確な勝利は、一致した品質におけるコストである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a task described by a few examples, how should a model be specialized to it? Four mechanisms are available -- zero-shot, in-context attention, test-time gradient adaptation, and emitting specialist weights from a hypernetwork -- yet the operating regime of the last is rarely mapped. We run the identical four-way comparison across six tasks spanning regression, generation, language modeling, reinforcement learning, and clinical and genomic classification, holding the specialist, the context, and (where we can) the training budget fixed. The clearest wins for emission are about cost at matched quality: it ties the state-of-the-art amortized tabular model (TabPFN) on clinical few-shot classification while emitting a reusable specialist instead of re-attending the support set per query, and reaches noise-floor shape generation with a $132$-float per-instance program. On few-shot sinusoid regression it is $2$--$3$ orders of magnitude below MAML at zero test-time gradient steps -- a margin that narrows to $\sim$$30\times$ but persists once training budgets are equalized. Emission cannot match in-context attention on high-dimensional sequence modeling: under matched-budget pre-training a one-pass adapter recovers only a minority of the in-context gain ($14.0\pm0.9\%$ at $5$M, $11.2\pm0.5\%$ at $15$M), and a LoRA-rank sweep shows this shortfall is a partial capacity limit -- capture climbs from $5\%$ to $21\%$ as rank grows but plateaus far below full recovery. Mechanism ablations confirm the emitted specialist is genuinely task-conditioned, not a memorized prior; and, more speculatively, emitted specialists compose in weight space -- interpolating two of them tracks the corresponding blend of their functions. We close with a falsifiable thesis, operationalized through a per-task resolution measure, bounding when each conditioning mechanism should be preferred.
• Abstract（参考訳）: いくつかの例で説明されたタスクを考えると、モデルはどのように専門化されるべきなのか? ゼロショット、インコンテキストの注意、テストタイムの勾配順応、ハイパーネットワークから特殊重量を放出する4つのメカニズムが利用可能だが、最後の運用体制がマップされることはめったにない。 我々は、回帰、生成、言語モデリング、強化学習、臨床およびゲノム分類を含む6つのタスクにまたがって、同一の4方向比較を実行し、専門家、状況、そしてトレーニング予算を(ここで)固定する。 最先端のアモールト化タブラーモデル(TabPFN)を臨床的な数点分類で結びつけると同時に、クエリ毎にサポートセットを再入力する代わりに再利用可能なスペシャリストを出力し、インスタンスプログラム132ドル(約1万2000円)でノイズフロアの形状を生成する。 数ショットの正弦波レグレッションでは、MAML以下でテスト時間勾配をゼロにすると2ドル～3ドル(約2万2000円)のオーダーになる -- 差は$$\sim$$30\times$に狭まるが、トレーニング予算が等しくなれば継続する。 高次元のシーケンスモデリングにおいて、エミッションはコンテキスト内の注意と一致しない: マッチした予算で1回のパスアダプタを事前訓練すると、インコンテキストゲインの少数派($14.0\pm0.9\%$:5$M、$1.2\pm0.5\%$:15$M)が回復する。 メカニズム・アブレーションは、放出されたスペシャリストが真にタスクコンディションであり、記憶された前もって記憶されていないことを確認し、より投機的に、放出されたスペシャリストは重量空間を構成する。 我々は,各条件設定機構が好まれる場合に,各タスクごとの分解能測定によって操作するファルシビリティ・テーゼで閉じる。

関連論文リスト

• When cheap gradients fail: the measurement cost of attacking quantum classifiers [2.5042535462806716]
  ショットノイズは、勾配ベースのテストタイムアタックに対するビルトインディフェンスである。 ホワイトボックス抽出は次元に依存した測定予算を消費する。 156量子ビットのIBMプロセッサの実験は、その効果を再現した。
  論文  参考訳（メタデータ） (2026-07-13T05:03:41Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Model Merging: Foundations and Algorithms [4.528573838858818]
  この論文はモデルマージを研究し、独立に訓練されたニューラルネットワークを直接重み空間で組み合わせる。 C$2$M$3$は、Frank-Wolfe最適化に基づくサイクル一貫性のマージアルゴリズムである。 マルチタスク設定では、まずタスクベクトルを近似勾配として理論的に記述する。 次に,TSV幾何を用いた入力適応型ルーティング手法であるMASSを提案し,推定時にタスク関連部分空間を選択する。
  論文  参考訳（メタデータ） (2026-05-02T19:06:35Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• UCB-type Algorithm for Budget-Constrained Expert Learning [71.67657715154034]
  algnameM-LCBはUCBスタイルのメタアルゴリズムであり、幻想的後悔の保証を提供する 我々は、AlgnameM-LCBが、限られたリソースの下で、ステートフルで自己学習の専門家をコーディネートする、より現実的なシナリオまで、古典的な帯域幅パラダイムをどのように拡張しているかを示す。
  論文  参考訳（メタデータ） (2025-10-26T12:36:17Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• UnfoldML: Cost-Aware and Uncertainty-Based Dynamic 2D Prediction for Multi-Stage Classification [9.414586896131777]
  UnfoldMLは、多段階分類のためのコスト意識と不確実性に基づく動的2D予測パイプラインである。 最高性能のマルチクラスベースラインから0.1%の精度で達成される。 推論の逐次的コストと早期(3.5時間)の発症予測で20倍近く節約する。
  論文  参考訳（メタデータ） (2022-10-26T21:41:53Z)
• Autocalibration and Tweedie-dominance for Insurance Pricing with Machine Learning [0.0]
  逸脱の最小化には, 下位部分モーメントの重み付き差分の積分と, 特定のスケールで測定されたバイアスとのトレードオフが伴うことが示された。 バイアスを補正する新しい手法は、分析にさらに局所的なGLMステップを追加する。 凸順序は、競合するモデルを比較する自然なツールであるように見える。
  論文  参考訳（メタデータ） (2021-03-05T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。