論文の概要: AutoSTL: Automated Spatio-Temporal Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2304.09174v1
- Date: Sun, 16 Apr 2023 10:03:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 16:43:58.339506
- Title: AutoSTL: Automated Spatio-Temporal Multi-Task Learning
- Title(参考訳): AutoSTL: 時空間マルチタスク学習の自動化
- Authors: Zijian Zhang, Xiangyu Zhao, Hao Miao, Chunxu Zhang, Hongwei Zhao and
Junbo Zhang
- Abstract要約: 本稿では,タスク間の依存性を活用すべく,高度な時間的操作からなるスケーラブルなアーキテクチャを提案する。
我々のモデルは内在核融合重量の演算を自動的に割り当てる。
AutoSTLは最初の自動時空間マルチタスク学習法である。
- 参考スコア(独自算出の注目度): 17.498339023562835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatio-Temporal prediction plays a critical role in smart city construction.
Jointly modeling multiple spatio-temporal tasks can further promote an
intelligent city life by integrating their inseparable relationship. However,
existing studies fail to address this joint learning problem well, which
generally solve tasks individually or a fixed task combination. The challenges
lie in the tangled relation between different properties, the demand for
supporting flexible combinations of tasks and the complex spatio-temporal
dependency. To cope with the problems above, we propose an Automated
Spatio-Temporal multi-task Learning (AutoSTL) method to handle multiple
spatio-temporal tasks jointly. Firstly, we propose a scalable architecture
consisting of advanced spatio-temporal operations to exploit the complicated
dependency. Shared modules and feature fusion mechanism are incorporated to
further capture the intrinsic relationship between tasks. Furthermore, our
model automatically allocates the operations and fusion weight. Extensive
experiments on benchmark datasets verified that our model achieves
state-of-the-art performance. As we can know, AutoSTL is the first automated
spatio-temporal multi-task learning method.
- Abstract(参考訳): 時空間予測はスマートシティ構築において重要な役割を果たす。
複数の時空間的タスクを共同でモデル化することで、その分離不能な関係を統合することにより、インテリジェントな都市生活をさらに促進することができる。
しかし、既存の研究ではこの共同学習の問題にうまく対処できず、一般にタスクを個別に、あるいは固定的なタスクの組み合わせで解決する。
課題は、異なる特性間の絡み合った関係、タスクの柔軟な組み合わせをサポートする要求、および複雑な時空間依存性にある。
そこで本研究では,複数の時空間タスクを協調して処理する自動時空間型マルチタスク学習(autostl)手法を提案する。
まず,複雑な依存関係を活用するために,高度時空間演算によるスケーラブルなアーキテクチャを提案する。
共有モジュールと特徴融合機構は、タスク間の本質的な関係をさらに捉えるために組み込まれている。
さらに,本モデルでは,演算と融合重量を自動的に割り当てる。
ベンチマークデータセットに関する広範な実験によって、このモデルが最先端のパフォーマンスを達成できることが確認された。
知る限り、AutoSTLは最初の自動時空間マルチタスク学習法である。
関連論文リスト
- InterroGate: Learning to Share, Specialize, and Prune Representations
for Multi-task Learning [17.66308231838553]
推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。
学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
論文 参考訳(メタデータ) (2024-02-26T18:59:52Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳(メタデータ) (2023-12-15T18:20:15Z) - JiuZhang 2.0: A Unified Chinese Pre-trained Language Model for
Multi-task Mathematical Problem Solving [77.51817534090789]
マルチタスク数学問題の解法を専門とする統一中国語 PLM である textbfJiuZhang2.0 を提案する。
我々の考えは、中規模のモデルを維持し、マルチタスク設定におけるモデル容量を改善するために、Emphcross-taskの知識共有を利用することである。
論文 参考訳(メタデータ) (2023-06-19T15:45:36Z) - Learning Behavior Representations Through Multi-Timescale Bootstrapping [8.543808476554695]
本稿では,行動のマルチスケール表現学習モデルであるBootstrap Across Multiple Scales (BAMS)を紹介する。
まず,異なる地形タイプをナビゲートする四足歩行のデータセットに本手法を適用し,そのモデルが行動の時間的複雑さを捉えていることを示す。
論文 参考訳(メタデータ) (2022-06-14T17:57:55Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T13:10:47Z) - Continual Object Detection via Prototypical Task Correlation Guided
Gating Mechanism [120.1998866178014]
pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。
具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。
COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
論文 参考訳(メタデータ) (2022-05-06T07:31:28Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳(メタデータ) (2022-03-28T17:56:40Z) - Auto-Lambda: Disentangling Dynamic Task Relationships [30.294666922162797]
本研究では,自動重み付けフレームワークであるAuto-Lambdaを用いてタスク関係を学習する。
提案手法をコンピュータビジョンとロボット工学におけるマルチタスクと補助学習の両問題に適用する。
我々はAuto-Lambdaが興味深い学習行動を発見し、マルチタスク学習における新たな洞察をもたらすことを観察した。
論文 参考訳(メタデータ) (2022-02-07T12:07:50Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳(メタデータ) (2020-07-24T14:44:46Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳(メタデータ) (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。