論文の概要: On-the-fly Weight Generation: A Hypernetwork Proof of Concept on ARC-1D

• arxiv url: http://arxiv.org/abs/2610.00820v1
• Date: Wed, 30 Sep 2026 23:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.803129
• Title: On-the-fly Weight Generation: A Hypernetwork Proof of Concept on ARC-1D
• Title（参考訳）: On-the-fly Weight Generation: A Hypernetwork Proof of Concept on ARC-1D
• Abstract要約: 汎用モデルはコンテキストから多くのタスクに適応できるが、特殊化されたモデルはより少ないキャパシティで個々の関数を実行することができる。 個々の変換は、小さなスペシャリストモデルで表現でき、ハイパーネットワークがコンテキストからパラメータを生成することができることを示す。
• 参考スコア（独自算出の注目度）: 24.09636531093206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General-purpose models can adapt to many tasks from context, while specialised models can execute individual functions with less capacity. Yet obtaining such specialists requires task-specific training or adaptation. We ask whether they can instead be generated directly from a few demonstrations. Using ARC-1D as a controlled testbed, we show that individual transformations can be represented by tiny specialist models, and that a hypernetwork can generate their parameters from context. The generated parameters form a structured weight space, while the resulting specialists show partial compositional generalisation and generalisation to transformations not seen during training. In both settings, removing explicit task identifiers improves generalisation beyond the training transformations. Together, these results provide a proof of concept that few-shot task context can be compiled on-the-fly into compact executable model parameters, and that the resulting weight space can support reuse and generalisation beyond known functions.
• Abstract（参考訳）: 汎用モデルはコンテキストから多くのタスクに適応できるが、特殊化されたモデルはより少ないキャパシティで個々の関数を実行することができる。 しかし、そのような専門家を得るには、タスク固有のトレーニングや適応が必要である。 代わりに、いくつかのデモから直接生成できるかどうかを問う。 ARC-1Dを制御されたテストベッドとして使用することにより、個々の変換を小さなスペシャリストモデルで表現することができ、ハイパーネットワークがコンテキストからパラメータを生成することができることを示す。 生成されたパラメータは、構造化された重み空間を形成し、その結果のスペシャリストは、トレーニング中に見えない変換への部分的な構成的一般化と一般化を示す。 どちらの設定でも、明示的なタスク識別子を削除することで、トレーニング変換以外の一般化が改善される。 これらの結果は、少数ショットタスクコンテキストをコンパクトな実行可能なモデルパラメータとしてオンザフライでコンパイルし、結果として得られる重み空間が既知の関数を超えて再利用と一般化をサポートするという概念の証明を提供する。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Reimagining Parameter Space Exploration with Diffusion Models [21.180663546314122]
  ニューラルネットワークを新しいタスクに適用するには、通常、タスク固有の微調整が必要である。 タスク固有パラメータをタスクの同一性から直接生成する生成的代替手法について検討する。
  論文  参考訳（メタデータ） (2025-06-21T20:30:17Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• In-Context Reinforcement Learning for Variable Action Spaces [46.29510499540938]
  Headless-ADは、可変サイズ、セマンティックコンテンツ、順序の離散的なアクション空間に一般化することができる。 我々は、ヘッドレスADは、これまでに遭遇したことのないアクション空間に一般化する重要な能力を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-20T16:58:55Z)
• Generalized Hidden Parameter MDPs Transferable Model-based RL in a Handful of Trials [13.051708608864539]
  一般化隠れMDP(英: Generalized Hidden MDPs、GHP-MDPs)は、タスクによって異なる隠れパラメータの関数として、力学と報酬の両方が変化するMDPのファミリーを指す。 我々は、報酬空間と動的潜伏空間を用いた新しい課題である MuJoCo タスクに対して、最先端性能とサンプル効率を実験的に実証した。
  論文  参考訳（メタデータ） (2020-02-08T02:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。