論文の概要: Acquiring and Adapting Priors for Novel Tasks via Neural Meta-Architectures

• arxiv url: http://arxiv.org/abs/2507.10446v2
• Date: Tue, 15 Jul 2025 02:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 13:21:48.473549
• Title: Acquiring and Adapting Priors for Novel Tasks via Neural Meta-Architectures
• Title（参考訳）: ニューラルメタアーキテクチャによる新しいタスクの優先順位獲得と適応
• Authors: Sudarshan Babu,
• Abstract要約: 我々は、大量のデータが利用できない場合に、事前の効率的な取得を可能にするアーキテクチャの設計に重点を置いている。 MML(Model Agnostic Meta-Learning)でトレーニングした際、我々のハイパーネットワーク設計が標準ネットワークよりもより一般化可能な事前知識を得ることが実証された。 従来から見てきたシーンからの先行情報を効率的に転送することで、限られたデータで新しいシーンで3Dセグメンテーションを行うためのハイパーネットワークフレームワークを拡張した。
• 参考スコア（独自算出の注目度）: 2.5382095320488673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to transfer knowledge from prior experiences to novel tasks stands as a pivotal capability of intelligent agents, including both humans and computational models. This principle forms the basis of transfer learning, where large pre-trained neural networks are fine-tuned to adapt to downstream tasks. Transfer learning has demonstrated tremendous success, both in terms of task adaptation speed and performance. However there are several domains where, due to lack of data, training such large pre-trained models or foundational models is not a possibility - computational chemistry, computational immunology, and medical imaging are examples. To address these challenges, our work focuses on designing architectures to enable efficient acquisition of priors when large amounts of data are unavailable. In particular, we demonstrate that we can use neural memory to enable adaptation on non-stationary distributions with only a few samples. Then we demonstrate that our hypernetwork designs (a network that generates another network) can acquire more generalizable priors than standard networks when trained with Model Agnostic Meta-Learning (MAML). Subsequently, we apply hypernetworks to 3D scene generation, demonstrating that they can acquire priors efficiently on just a handful of training scenes, thereby leading to faster text-to-3D generation. We then extend our hypernetwork framework to perform 3D segmentation on novel scenes with limited data by efficiently transferring priors from earlier viewed scenes. Finally, we repurpose an existing molecular generative method as a pre-training framework that facilitates improved molecular property prediction, addressing critical challenges in computational immunology.
• Abstract（参考訳）: 知識を以前の経験から新しいタスクに伝達する能力は、人間と計算モデルの両方を含む知的エージェントの重要な能力である。 この原理は、ダウンストリームタスクに適応するために、大規模なトレーニング済みニューラルネットワークを微調整するトランスファーラーニングの基礎となる。 伝達学習はタスク適応速度と性能の両面で大きな成功を収めた。 しかし、データ不足のため、そのような大規模な事前訓練されたモデルや基礎的なモデルを訓練することは不可能である。 これらの課題に対処するため、当社の作業では、大量のデータが利用できない場合に、事前の効率的な取得を可能にするアーキテクチャの設計に重点を置いています。 特に、少数のサンプルで非定常分布への適応を可能にするために、ニューラルメモリを利用することを実証する。 次に,我々のハイパーネットワーク設計(他のネットワークを生成するネットワーク)が,モデルアグノスティック・メタラーニング(MAML)を用いてトレーニングされた場合,標準ネットワークよりも一般化可能な事前情報を取得することを実証した。 その後、ハイパーネットを3Dシーン生成に適用し、少数のトレーニングシーンで先行情報を効率よく取得できることを示し、より高速なテキスト・ツー・3D生成を実現する。 次に,従来のシーンからの先行情報を効率よく転送することで,新しいシーンで3Dセグメンテーションを行うためのハイパーネットワークフレームワークを拡張した。 最後に,分子特性予測の改善を促進する事前学習フレームワークとして,既存の分子生成法を再利用し,計算免疫学における重要な課題に対処する。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• A Survey on Knowledge Editing of Neural Networks [43.813073385305806]
  最大の人工ニューラルネットワークでさえ間違いを犯し、世界が時間とともに進むにつれて、一度修正された予測が無効になる可能性がある。 知識編集は、訓練済みのターゲットモデルに対する信頼性、データ効率、迅速な変更の実現を目的とした、新しい研究分野として浮上している。 まず、ニューラルネットワークの編集の問題を紹介し、それを共通のフレームワークで形式化し、継続的学習のような悪名高い研究分野と区別する。
  論文  参考訳（メタデータ） (2023-10-30T16:29:47Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Exploring Flip Flop memories and beyond: training recurrent neural networks with key insights [0.0]
  本研究では,時間処理タスク,特に3ビットフリップフロップメモリの実装について検討する。 得られたネットワークは、可視化および分析ツールの配列によって支援され、ダイナミックスを解明するために慎重に分析される。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
  移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
  論文  参考訳（メタデータ） (2020-07-01T22:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。