論文の概要: A Transformer Framework for Data Fusion and Multi-Task Learning in Smart Cities

• arxiv url: http://arxiv.org/abs/2211.10506v1
• Date: Fri, 18 Nov 2022 20:43:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 21:34:18.622086
• Title: A Transformer Framework for Data Fusion and Multi-Task Learning in Smart Cities
• Title（参考訳）: スマートシティにおけるデータ融合とマルチタスク学習のためのトランスフォーマフレームワーク
• Authors: Alexander C. DeRieux, Walid Saad, Wangda Zuo, Rachmawan Budiarto, Mochamad Donny Koerniawan, and Dwi Novitasari
• Abstract要約: 本稿では,新興スマートシティを対象としたトランスフォーマーベースのAIシステムを提案する。 ほぼ全ての入力データと出力タスクタイプをサポートし、現在のS&CCをサポートする。 S&CC環境を代表する多様なタスクセットを学習して実演する。
• 参考スコア（独自算出の注目度）: 99.56635097352628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapid global urbanization is a double-edged sword, heralding promises of economical prosperity and public health while also posing unique environmental and humanitarian challenges. Smart and connected communities (S&CCs) apply data-centric solutions to these problems by integrating artificial intelligence (AI) and the Internet of Things (IoT). This coupling of intelligent technologies also poses interesting system design challenges regarding heterogeneous data fusion and task diversity. Transformers are of particular interest to address these problems, given their success across diverse fields of natural language processing (NLP), computer vision, time-series regression, and multi-modal data fusion. This begs the question whether Transformers can be further diversified to leverage fusions of IoT data sources for heterogeneous multi-task learning in S&CC trade spaces. In this paper, a Transformer-based AI system for emerging smart cities is proposed. Designed using a pure encoder backbone, and further customized through interchangeable input embedding and output task heads, the system supports virtually any input data and output task types present S&CCs. This generalizability is demonstrated through learning diverse task sets representative of S&CC environments, including multivariate time-series regression, visual plant disease classification, and image-time-series fusion tasks using a combination of Beijing PM2.5 and Plant Village datasets. Simulation results show that the proposed Transformer-based system can handle various input data types via custom sequence embedding techniques, and are naturally suited to learning a diverse set of tasks. The results also show that multi-task learners increase both memory and computational efficiency while maintaining comparable performance to both single-task variants, and non-Transformer baselines.
• Abstract（参考訳）: 急速なグローバル化は二重刃の剣であり、経済的繁栄と公衆衛生を約束すると同時に、ユニークな環境と人道上の課題を提起する。 スマートでコネクテッドなコミュニティ(S&CC)は、人工知能(AI)とIoT(Internet of Things)を統合することで、これらの問題にデータ中心のソリューションを適用します。 このインテリジェントな技術の結合は、異種データ融合とタスクの多様性に関する興味深いシステム設計上の課題も引き起こす。 トランスフォーマーは、自然言語処理(NLP)、コンピュータビジョン、時系列回帰、マルチモーダルデータ融合といった様々な分野において、これらの問題に対処することに特に関心がある。 これは、s&ccトレードスペースにおける異種マルチタスク学習のためのiotデータソースの融合を活用するために、トランスフォーマーをさらに多様化できるかどうかを問うものだ。 本稿では,新興スマートシティを対象としたトランスフォーマーベースのAIシステムを提案する。 純粋なエンコーダバックボーンを使用して設計され、交換可能な入力埋め込みおよび出力タスクヘッドによってさらにカスタマイズされたこのシステムは、事実上あらゆる入力データおよびs&ccsの出力タスクタイプをサポートする。 この一般化性は、北京PM2.5と植物村のデータセットを組み合わせて、多変量時系列回帰、視覚植物病分類、画像時系列融合タスクを含む、S&CC環境を代表する多様なタスクセットを学習することで実証される。 シミュレーションの結果,提案するトランスフォーマシステムでは,カスタムシーケンス埋め込み技術を用いて様々な入力データ型を処理でき,様々なタスクの学習に自然に適していることがわかった。 また、マルチタスク学習者は、シングルタスク変種と非トランスフォーマーベースラインに匹敵する性能を維持しながら、メモリと計算効率を向上することを示した。

関連論文リスト

• LaVin-DiT: Large Vision Diffusion Transformer [99.98106406059333]
  LaVin-DiTは、20以上のコンピュータビジョンタスクを生成フレームワークで扱うために設計された、スケーラブルで統一された基盤モデルである。 視覚タスクの生成性能を最適化するための重要なイノベーションを紹介する。 このモデルは0.1Bから3.4Bのパラメータに拡張され、様々な視覚タスクにまたがる相当なスケーラビリティと最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-11-18T12:05:27Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• UnitedHuman: Harnessing Multi-Source Data for High-Resolution Human Generation [59.77275587857252]
  総合的な人間のデータセットは、必然的に、局所的な部分についての不十分で低解像度な情報を持っている。 本稿では,高解像度な人為的生成モデルを共同で学習するために,様々な解像度画像を用いたマルチソースデータセットを提案する。
  論文  参考訳（メタデータ） (2023-09-25T17:58:46Z)
• Deformable Mixer Transformer with Gating for Multi-Task Learning of Dense Prediction [126.34551436845133]
  CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。 本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• InvPT++: Inverted Pyramid Multi-Task Transformer for Visual Scene Understanding [11.608682595506354]
  マルチタスクシーン理解は、複数のシーン理解タスクを1つの多目的モデルで同時に予測できるモデルを設計することを目的としている。 従来の研究は通常、より局所的な方法でマルチタスクの特徴を処理するため、空間的にグローバルな相互作用とクロスタスクの相互作用を効果的に学習することはできない。 異なるタスクの空間的特徴間の相互タスク相互作用をグローバルな文脈でモデル化できる逆ピラミッドマルチタスク変換器を提案する。
  論文  参考訳（メタデータ） (2023-06-08T00:28:22Z)
• RHFedMTL: Resource-Aware Hierarchical Federated Multi-Task Learning [11.329273673732217]
  フェデレーション学習は、セキュリティを備えた大規模な分散ノード上でAIを可能にする効果的な方法である。 複数の基地局(BS)と端末をまたいだマルチタスク学習を維持しながら、プライバシを確保することは困難である。 本稿では, セルラーワークの自然雲-BS-末端階層に着想を得て, 資源を考慮した階層型MTL (RHFedMTL) ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-01T13:49:55Z)
• CACTI: A Framework for Scalable Multi-Task Multi-Scene Visual Imitation Learning [33.88636835443266]
  キッチン環境におけるマルチタスク・マルチシーンロボット操作のレンズ下でのロボット学習のスケールアップのためのフレームワークを提案する。 CACTIという名前のフレームワークは,データ収集,データ拡張,視覚表現学習,模倣ポリシートレーニングの4つの段階を別々に扱う。 CACTIフレームワークでは、拡張段階の一部として、画像生成に最先端モデルを適用する利点を強調している。
  論文  参考訳（メタデータ） (2022-12-12T05:30:08Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。