論文の概要: Multi Self-supervised Pre-fine-tuned Transformer Fusion for Better
Intelligent Transportation Detection
- arxiv url: http://arxiv.org/abs/2310.11307v1
- Date: Tue, 17 Oct 2023 14:32:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 15:31:11.630688
- Title: Multi Self-supervised Pre-fine-tuned Transformer Fusion for Better
Intelligent Transportation Detection
- Title(参考訳): インテリジェントトランスミッション検出のための多機能自己監督型プリファインチュアトランスフォーマーフュージョン
- Authors: Juwu Zheng and Jiangtao Ren
- Abstract要約: インテリジェントトランスポートシステムは、高度な情報技術を組み合わせて、監視、検出、そして現代の交通に対する早期警告のようなインテリジェントなサービスを提供する。
知的輸送における既存の検出方法は2つの側面に制限されている。
まず、大規模データセット上で事前訓練されたモデル知識と、ターゲットタスクに必要な知識との間には違いがある。
第二に、ほとんどの検出モデルは、学習能力を制限する単一ソース学習のパターンに従う。
- 参考スコア(独自算出の注目度): 0.32634122554914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intelligent transportation system combines advanced information technology to
provide intelligent services such as monitoring, detection, and early warning
for modern transportation. Intelligent transportation detection is the
cornerstone of many intelligent traffic services by identifying task targets
through object detection methods. However existing detection methods in
intelligent transportation are limited by two aspects. First, there is a
difference between the model knowledge pre-trained on large-scale datasets and
the knowledge required for target task. Second, most detection models follow
the pattern of single-source learning, which limits the learning ability. To
address these problems, we propose a Multi Self-supervised Pre-fine-tuned
Transformer Fusion (MSPTF) network, consisting of two steps: unsupervised
pre-fine-tune domain knowledge learning and multi-model fusion target task
learning. In the first step, we introduced self-supervised learning methods
into transformer model pre-fine-tune which could reduce data costs and
alleviate the knowledge gap between pre-trained model and target task. In the
second step, we take feature information differences between different model
architectures and different pre-fine-tune tasks into account and propose
Multi-model Semantic Consistency Cross-attention Fusion (MSCCF) network to
combine different transformer model features by considering channel semantic
consistency and feature vector semantic consistency, which obtain more complete
and proper fusion features for detection task. We experimented the proposed
method on vehicle recognition dataset and road disease detection dataset and
achieved 1.1%, 5.5%, 4.2% improvement compared with baseline and 0.7%, 1.8%,
1.7% compared with sota, which proved the effectiveness of our method.
- Abstract(参考訳): インテリジェントトランスポートシステムは、高度な情報技術を組み合わせて、監視、検出、そして現代の交通に対する早期警告のようなインテリジェントなサービスを提供する。
インテリジェントトランスポート検出は、オブジェクト検出方法を通じてタスクターゲットを識別することで、多くのインテリジェントなトラフィックサービスの基盤となる。
しかし、知的輸送における既存の検出方法は2つの側面に制限されている。
まず、大規模データセット上で事前訓練されたモデル知識と、ターゲットタスクに必要な知識との間には違いがある。
第二に、ほとんどの検出モデルは、学習能力を制限する単一ソース学習のパターンに従う。
これらの問題に対処するために、教師なしのドメイン知識学習とマルチモデル融合目標タスク学習の2つのステップからなるマルチセルフ教師付きプレファインチューニングトランスフォーマーフュージョン(MSPTF)ネットワークを提案する。
第1段階では,自己教師付き学習手法をトランスフォーマモデルに導入し,データコストを削減し,事前学習したモデルと対象タスクの知識ギャップを軽減した。
第2のステップでは、異なるモデルアーキテクチャと異なるプレファインチューンタスク間の特徴情報の違いを考慮に入れ、チャネル意味整合性および特徴ベクトル意味整合性を考慮して異なるトランスフォーマーモデル特徴を組み合わせたマルチモデルセマンティック・コンシステンシー・クロスアテンション・フュージョン(MSCCF)ネットワークを提案する。
提案手法を車両認識データセットと道路病検出データセットで実験し,ベースラインに比べて1.1%,5.5%,4.2%改善し,ソタに比べて0.7%,1.8%,1.7%改善した。
関連論文リスト
- Exploring Highly Quantised Neural Networks for Intrusion Detection in
Automotive CAN [13.581341206178525]
機械学習に基づく侵入検出モデルは、標的となる攻撃ベクトルを複数検出することに成功した。
本稿では,多クラス分類モデルとしてのカスタム量子化文学(CQMLP)について述べる。
IDSとして統合された2ビットCQMLPモデルでは、悪意のある攻撃メッセージを99.9%の精度で検出できることが示されている。
論文 参考訳(メタデータ) (2024-01-19T21:11:02Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳(メタデータ) (2023-04-28T15:43:21Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳(メタデータ) (2022-05-31T01:19:18Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T13:10:47Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳(メタデータ) (2021-03-01T01:43:04Z) - SpotPatch: Parameter-Efficient Transfer Learning for Mobile Object
Detection [39.29286021100541]
ディープラーニングベースのオブジェクト検出器は、さまざまなタスクを解決するために一般的にモバイルデバイスにデプロイされる。
最大精度では、各検出器は通常1つのタスクを解くために訓練され、完全に独立したパラメータセットが付属する。
タスク固有の検出器をトレーニングし、共有された重みのセットとして表現し、タスクごとに追加の重みのセットを非常に小さくすることができるか?
論文 参考訳(メタデータ) (2021-01-04T22:24:06Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - End-to-End 3D Multi-Object Tracking and Trajectory Forecasting [34.68114553744956]
3次元MOTと軌道予測の統一解を提案する。
グラフニューラルネットを導入して特徴相互作用技術を採用する。
また,予測トラジェクトリの品質と多様性を向上させるために,多様性サンプリング機能を利用する。
論文 参考訳(メタデータ) (2020-08-25T16:54:46Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳(メタデータ) (2020-05-08T01:59:23Z) - FairMOT: On the Fairness of Detection and Re-Identification in Multiple
Object Tracking [92.48078680697311]
マルチオブジェクトトラッキング(MOT)はコンピュータビジョンにおいて重要な問題である。
本稿では,FairMOTと呼ばれる,アンカーフリーなオブジェクト検出アーキテクチャCenterNetをベースとした,シンプルかつ効果的なアプローチを提案する。
このアプローチは、検出と追跡の両方において高い精度を達成する。
論文 参考訳(メタデータ) (2020-04-04T08:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。