論文の概要: Software/Hardware Co-design for Multi-modal Multi-task Learning in Autonomous Systems

• arxiv url: http://arxiv.org/abs/2104.04000v1
• Date: Thu, 8 Apr 2021 18:29:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 14:10:11.639117
• Title: Software/Hardware Co-design for Multi-modal Multi-task Learning in Autonomous Systems
• Title（参考訳）: 自律システムにおけるマルチモーダルマルチタスク学習のためのソフトウェア/ハードウェア共同設計
• Authors: Cong Hao, Deming Chen
• Abstract要約: 自律システムは本質的にマルチモーダルマルチタスク(MMMT)学習を必要とする。 まず,自律システムにMMMT技術を適用する機会について論じ,解決すべき課題について論じる。 MMMTモデルと異種ハードウェア実装を微分可能最適化問題として共設計する。
• 参考スコア（独自算出の注目度）: 7.3473356077331475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing the quality of result (QoR) and the quality of service (QoS) of AI-empowered autonomous systems simultaneously is very challenging. First, there are multiple input sources, e.g., multi-modal data from different sensors, requiring diverse data preprocessing, sensor fusion, and feature aggregation. Second, there are multiple tasks that require various AI models to run simultaneously, e.g., perception, localization, and control. Third, the computing and control system is heterogeneous, composed of hardware components with varied features, such as embedded CPUs, GPUs, FPGAs, and dedicated accelerators. Therefore, autonomous systems essentially require multi-modal multi-task (MMMT) learning which must be aware of hardware performance and implementation strategies. While MMMT learning has been attracting intensive research interests, its applications in autonomous systems are still underexplored. In this paper, we first discuss the opportunities of applying MMMT techniques in autonomous systems and then discuss the unique challenges that must be solved. In addition, we discuss the necessity and opportunities of MMMT model and hardware co-design, which is critical for autonomous systems especially with power/resource-limited or heterogeneous platforms. We formulate the MMMT model and heterogeneous hardware implementation co-design as a differentiable optimization problem, with the objective of improving the solution quality and reducing the overall power consumption and critical path latency. We advocate for further explorations of MMMT in autonomous systems and software/hardware co-design solutions.
• Abstract（参考訳）: 結果の品質(QoR)とサービス品質(QoS)を同時に最適化することは、非常に難しい。 まず、複数の入力ソースがあり、例えば、異なるセンサーからのマルチモーダルデータがあり、様々なデータ前処理、センサー融合、特徴集約が必要である。 第2に、知覚、ローカライゼーション、制御など、さまざまなAIモデルを同時に実行するために必要な複数のタスクがある。 第三に、コンピューティングと制御システムは異質であり、組み込みCPU、GPU、FPGA、専用アクセラレータなどの様々な特徴を持つハードウェアコンポーネントで構成されている。 したがって、自律システムは基本的に、ハードウェアの性能と実装戦略を認識する必要があるマルチモーダルマルチタスク(mmmt)学習を必要とする。 MMMT学習は研究の関心を集めているが、自律システムにおけるその応用はいまだに未熟である。 本稿ではまず,自律システムにMMMT技術を適用する機会について論じ,解決すべき課題について論じる。 また、特に電力/リソース制限や異種プラットフォームにおいて、自律システムにとって重要なmmmtモデルとハードウェアの共同設計の必要性と機会について論じる。 我々は,mmmtモデルと異種ハードウェア実装の共設計を,ソリューション品質の向上と全体的な電力消費とクリティカルパス遅延の低減を目的として,差別化可能な最適化問題として定式化した。 我々は、自律システムとソフトウェア/ハードウェアの共同設計ソリューションにおけるMMMTのさらなる探索を提唱する。

関連論文リスト

• Multi-Agent Reinforcement Learning for Autonomous Driving: A Survey [14.73689900685646]
  強化学習(Reinforcement Learning, RL)は、シーケンシャルな意思決定のための強力なツールであり、人間の能力を超えるパフォーマンスを達成した。 マルチエージェントシステム領域におけるRLの拡張として、マルチエージェントRL(MARL)は制御ポリシーを学ぶだけでなく、環境内の他のすべてのエージェントとの相互作用についても考慮する必要がある。 シミュレーターは、RLの基本である現実的なデータを得るのに不可欠である。
  論文  参考訳（メタデータ） (2024-08-19T03:31:20Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• MultiIoT: Benchmarking Machine Learning for the Internet of Things [70.74131118309967]
  次世代の機械学習システムは、物理的世界に対する知覚と相互作用に長けなければならない。 運動、熱、位置情報、深度、無線信号、ビデオ、オーディオからの知覚データは、物理環境の状態をモデル化するためにますます使われています。 既存の取り組みは、しばしば単一の感覚的モダリティまたは予測タスクに特化している。 本稿は、12のモダリティと8つの現実世界タスクから115万以上のサンプルを含む、これまでで最も拡張的で統一されたIoTベンチマークであるMultiIoTを提案する。
  論文  参考訳（メタデータ） (2023-11-10T18:13:08Z)
• Harmonic-NAS: Hardware-Aware Multimodal Neural Architecture Search on Resource-constrained Devices [0.4915744683251151]
  本稿では,資源制約のあるデバイス上でハードウェアを意識した,単調なバックボーンとマルチモーダル融合ネットワークの協調最適化のためのフレームワークを提案する。 Harmonic-NASは10.9%の精度向上、1.91倍の遅延低減、2.14倍のエネルギー効率向上を実現している。
  論文  参考訳（メタデータ） (2023-09-12T21:37:26Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• H2H: Heterogeneous Model to Heterogeneous System Mapping with Computation and Communication Awareness [16.244832640402496]
  本稿では,計算と通信の双方を意識した新しいマッピングアルゴリズムを提案する。 通信の計算をわずかに交換することで、システム全体のレイテンシとエネルギー消費を大幅に削減することができる。 本研究の優れた性能は,MAESTROモデリングに基づいて評価される。
  論文  参考訳（メタデータ） (2022-04-29T02:26:18Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Tackling Variabilities in Autonomous Driving [15.374442918002813]
  可変性のある自動運転タスクのためのハードウェア基板を提供するために、新しい異種マルチコアAIアクセラレータ(HMAI)を提案します。 また,タスクマッピング問題を解決するために,深層強化学習(RL)に基づくタスクスケジューリング機構FlexAIを提案する。
  論文  参考訳（メタデータ） (2021-04-21T08:51:40Z)
• AutonoML: Towards an Integrated Framework for Autonomous Machine Learning [9.356870107137095]
  Reviewは、自動化された自動MLシステムを構成するものに関して、より広範な視点を動機付けようとしている。 その上で、以下の研究領域の開発状況を調査します。 我々は、各トピックによって拡張されたレビューを通して概念的枠組みを開発し、高レベルなメカニズムを自律mlシステムに融合する方法を1つ紹介する。
  論文  参考訳（メタデータ） (2020-12-23T11:01:10Z)
• Distributed and Democratized Learning: Philosophy and Research Challenges [80.39805582015133]
  民主化学習(Dem-AI)という新しいデザイン哲学を提案する。 ヒトの社会的グループに触発され、提案されたDem-AIシステムの学習エージェントの専門グループは階層構造で自己組織化され、より効率的に学習タスクを遂行する。 本稿では,様々な学際分野に触発された未来のDem-AIシステムを実現するためのガイドラインとして,参照設計を提案する。
  論文  参考訳（メタデータ） (2020-03-18T08:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。