論文の概要: Multi Self-supervised Pre-fine-tuned Transformer Fusion for Better Intelligent Transportation Detection

• arxiv url: http://arxiv.org/abs/2310.11307v1
• Date: Tue, 17 Oct 2023 14:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 15:31:11.630688
• Title: Multi Self-supervised Pre-fine-tuned Transformer Fusion for Better Intelligent Transportation Detection
• Title（参考訳）: インテリジェントトランスミッション検出のための多機能自己監督型プリファインチュアトランスフォーマーフュージョン
• Authors: Juwu Zheng and Jiangtao Ren
• Abstract要約: インテリジェントトランスポートシステムは、高度な情報技術を組み合わせて、監視、検出、そして現代の交通に対する早期警告のようなインテリジェントなサービスを提供する。 知的輸送における既存の検出方法は2つの側面に制限されている。 まず、大規模データセット上で事前訓練されたモデル知識と、ターゲットタスクに必要な知識との間には違いがある。 第二に、ほとんどの検出モデルは、学習能力を制限する単一ソース学習のパターンに従う。
• 参考スコア（独自算出の注目度）: 0.32634122554914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent transportation system combines advanced information technology to provide intelligent services such as monitoring, detection, and early warning for modern transportation. Intelligent transportation detection is the cornerstone of many intelligent traffic services by identifying task targets through object detection methods. However existing detection methods in intelligent transportation are limited by two aspects. First, there is a difference between the model knowledge pre-trained on large-scale datasets and the knowledge required for target task. Second, most detection models follow the pattern of single-source learning, which limits the learning ability. To address these problems, we propose a Multi Self-supervised Pre-fine-tuned Transformer Fusion (MSPTF) network, consisting of two steps: unsupervised pre-fine-tune domain knowledge learning and multi-model fusion target task learning. In the first step, we introduced self-supervised learning methods into transformer model pre-fine-tune which could reduce data costs and alleviate the knowledge gap between pre-trained model and target task. In the second step, we take feature information differences between different model architectures and different pre-fine-tune tasks into account and propose Multi-model Semantic Consistency Cross-attention Fusion (MSCCF) network to combine different transformer model features by considering channel semantic consistency and feature vector semantic consistency, which obtain more complete and proper fusion features for detection task. We experimented the proposed method on vehicle recognition dataset and road disease detection dataset and achieved 1.1%, 5.5%, 4.2% improvement compared with baseline and 0.7%, 1.8%, 1.7% compared with sota, which proved the effectiveness of our method.
• Abstract（参考訳）: インテリジェントトランスポートシステムは、高度な情報技術を組み合わせて、監視、検出、そして現代の交通に対する早期警告のようなインテリジェントなサービスを提供する。 インテリジェントトランスポート検出は、オブジェクト検出方法を通じてタスクターゲットを識別することで、多くのインテリジェントなトラフィックサービスの基盤となる。 しかし、知的輸送における既存の検出方法は2つの側面に制限されている。 まず、大規模データセット上で事前訓練されたモデル知識と、ターゲットタスクに必要な知識との間には違いがある。 第二に、ほとんどの検出モデルは、学習能力を制限する単一ソース学習のパターンに従う。 これらの問題に対処するために、教師なしのドメイン知識学習とマルチモデル融合目標タスク学習の2つのステップからなるマルチセルフ教師付きプレファインチューニングトランスフォーマーフュージョン(MSPTF)ネットワークを提案する。 第1段階では,自己教師付き学習手法をトランスフォーマモデルに導入し,データコストを削減し,事前学習したモデルと対象タスクの知識ギャップを軽減した。 第2のステップでは、異なるモデルアーキテクチャと異なるプレファインチューンタスク間の特徴情報の違いを考慮に入れ、チャネル意味整合性および特徴ベクトル意味整合性を考慮して異なるトランスフォーマーモデル特徴を組み合わせたマルチモデルセマンティック・コンシステンシー・クロスアテンション・フュージョン(MSCCF)ネットワークを提案する。 提案手法を車両認識データセットと道路病検出データセットで実験し,ベースラインに比べて1.1%,5.5%,4.2%改善し,ソタに比べて0.7%,1.8%,1.7%改善した。

関連論文リスト

• SeaDATE: Remedy Dual-Attention Transformer with Semantic Alignment via Contrast Learning for Multimodal Object Detection [18.090706979440334]
  マルチモーダルオブジェクト検出は、様々なモーダル情報を活用して、検出器の精度と堅牢性を高める。 現在の方法では、トランスフォーマー誘導核融合技術は、ネットワークの様々な深さ層における特徴を抽出する能力を探ることなく、単純にスタック化されている。 本論文では,SeaDATEと呼ばれる高精度かつ効率的な物体検出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T07:26:39Z)
• Advancing Automated Deception Detection: A Multimodal Approach to Feature Extraction and Analysis [0.0]
  本研究は, 偽造検出モデルの精度を高めるために, 様々な特徴の抽出と組み合わせに焦点を当てる。 視覚、音声、テキストデータから特徴を体系的に抽出し、異なる組み合わせの実験を行うことで、印象的な99%の精度を達成できるロバストモデルを開発した。
  論文  参考訳（メタデータ） (2024-07-08T14:59:10Z)
• Remembering Transformer for Continual Learning [9.879896956915598]
  本稿では,脳の補足学習システムにインスパイアされたリマインドトランスフォーマーを提案する。 覚えておくTransformerは、アダプタの混合アーキテクチャと、生成モデルに基づく新規性検出機構を採用している。 本研究は, 新奇性検出機構のアブレーション研究や, 適応剤のモデルキャパシティなど, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-04-11T07:22:14Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Exploring Highly Quantised Neural Networks for Intrusion Detection in Automotive CAN [13.581341206178525]
  機械学習に基づく侵入検出モデルは、標的となる攻撃ベクトルを複数検出することに成功した。 本稿では,多クラス分類モデルとしてのカスタム量子化文学(CQMLP)について述べる。 IDSとして統合された2ビットCQMLPモデルでは、悪意のある攻撃メッセージを99.9%の精度で検出できることが示されている。
  論文  参考訳（メタデータ） (2024-01-19T21:11:02Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection [55.888835686183995]
  教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。 提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-01T01:43:04Z)
• SpotPatch: Parameter-Efficient Transfer Learning for Mobile Object Detection [39.29286021100541]
  ディープラーニングベースのオブジェクト検出器は、さまざまなタスクを解決するために一般的にモバイルデバイスにデプロイされる。 最大精度では、各検出器は通常1つのタスクを解くために訓練され、完全に独立したパラメータセットが付属する。 タスク固有の検出器をトレーニングし、共有された重みのセットとして表現し、タスクごとに追加の重みのセットを非常に小さくすることができるか?
  論文  参考訳（メタデータ） (2021-01-04T22:24:06Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking [92.48078680697311]
  マルチオブジェクトトラッキング(MOT)はコンピュータビジョンにおいて重要な問題である。 本稿では,FairMOTと呼ばれる,アンカーフリーなオブジェクト検出アーキテクチャCenterNetをベースとした,シンプルかつ効果的なアプローチを提案する。 このアプローチは、検出と追跡の両方において高い精度を達成する。
  論文  参考訳（メタデータ） (2020-04-04T08:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。