論文の概要: Multi-task neural networks by learned contextual inputs

• arxiv url: http://arxiv.org/abs/2303.00788v1
• Date: Wed, 1 Mar 2023 19:25:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 17:05:47.800985
• Title: Multi-task neural networks by learned contextual inputs
• Title（参考訳）: 学習文脈入力によるマルチタスクニューラルネットワーク
• Authors: Anders T. Sandnes, Bjarne Grimstad, Odd Kolbj{\o}rnsen
• Abstract要約: 完全に共有されたニューラルネットワークと、トレーニング可能なタスクパラメータを含む拡張入力ベクトルに基づくマルチタスク学習アーキテクチャである。 このアーキテクチャは、低次元のタスクパラメータ空間を促進する強力なタスク機構によって興味深い。 アーキテクチャのパフォーマンスは、10つのデータセット上の類似のニューラルネットワークアーキテクチャと比較される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper explores learned-context neural networks. It is a multi-task learning architecture based on a fully shared neural network and an augmented input vector containing trainable task parameters. The architecture is interesting due to its powerful task adaption mechanism, which facilitates a low-dimensional task parameter space. Theoretically, we show that a scalar task parameter is sufficient for universal approximation of all tasks, which is not necessarily the case for more common architectures. Evidence towards the practicality of such a small task parameter space is given empirically. The task parameter space is found to be well-behaved, and simplifies workflows related to updating models as new data arrives, and training new tasks when the shared parameters are frozen. Additionally, the architecture displays robustness towards cases with few data points. The architecture's performance is compared to similar neural network architectures on ten datasets.
• Abstract（参考訳）: 本稿では,学習コンテキストニューラルネットワークについて検討する。 完全に共有されたニューラルネットワークと、トレーニング可能なタスクパラメータを含む拡張入力ベクトルに基づくマルチタスク学習アーキテクチャである。 このアーキテクチャは、低次元のタスクパラメータ空間を促進する強力なタスク適応機構によって興味深い。 理論的には、スカラータスクパラメータは全てのタスクを普遍的に近似するのに十分であり、より一般的なアーキテクチャでは必ずしもそうではない。 このような小さなタスクパラメータ空間の実用性に対する証拠が実証的に与えられる。 タスクパラメータ空間はよく理解されており、新しいデータが到着するとモデルの更新に関連するワークフローを単純化し、共有パラメータが凍結されたときに新しいタスクをトレーニングする。 さらにアーキテクチャは、データポイントの少ないケースに対して堅牢性を示す。 アーキテクチャのパフォーマンスは、10データセット上の類似のニューラルネットワークアーキテクチャと比較される。

関連論文リスト

• Learning Compact Neural Networks with Deep Overparameterised Multitask Learning [0.0]
  パラメータ化ニューラルネットワーク設計よりも単純で効率的で効果的なマルチタスク学習を提案する。 2つの挑戦的マルチタスクデータセット(NYUv2とCOCO)の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-08-25T10:51:02Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• DyTox: Transformers for Continual Learning with DYnamic TOken eXpansion [89.92242000948026]
  本稿では,専用エンコーダ/デコーダフレームワークに基づくトランスフォーマアーキテクチャを提案する。 特別なトークンを動的に拡張することで、タスク分布上でデコーダネットワークの各前方を特殊化する。 私たちの戦略は、無視可能なメモリと時間オーバーヘッドを抱えながら、多数のタスクにスケールします。
  論文  参考訳（メタデータ） (2021-11-22T16:29:06Z)
• Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
  概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。 サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。 新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
  論文  参考訳（メタデータ） (2021-10-07T02:29:26Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
  マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。 共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。 異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
  論文  参考訳（メタデータ） (2021-07-23T17:26:40Z)
• Neural Architecture Search From Fr\'echet Task Distance [50.9995960884133]
  与えられたベースラインタスクのセット内の対象タスクと各タスクの間の距離を、ターゲットタスクのニューラルネットワークアーキテクチャ検索スペースを減らすためにどのように使用できるかを示す。 タスク固有のアーキテクチャに対する検索空間の複雑さの低減は、このサイド情報を用いることなく完全な検索を行う代わりに、類似したタスクのために最適化されたアーキテクチャ上に構築することで達成される。
  論文  参考訳（メタデータ） (2021-03-23T20:43:31Z)
• Exploring Flip Flop memories and beyond: training recurrent neural networks with key insights [0.0]
  本研究では,時間処理タスク,特に3ビットフリップフロップメモリの実装について検討する。 得られたネットワークは、可視化および分析ツールの配列によって支援され、ダイナミックスを解明するために慎重に分析される。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Emerging Relation Network and Task Embedding for Multi-Task Regression Problems [5.953831950062808]
  マルチタスク学習(mtl)は、コンピュータビジョンと自然言語処理の多くの応用において最先端の結果を提供する。 この記事では、以下に示すmtlアーキテクチャと重要なmtlアーキテクチャの比較研究を紹介する。 我々は,スライトスネットワークの拡張と見なせる新興関係ネットワーク(ern)と呼ばれる新しいmtlアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2020-04-29T09:02:24Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。