論文の概要: Cross-domain Few-shot In-context Learning for Enhancing Traffic Sign Recognition

• arxiv url: http://arxiv.org/abs/2407.05814v1
• Date: Mon, 8 Jul 2024 10:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:00:10.816897
• Title: Cross-domain Few-shot In-context Learning for Enhancing Traffic Sign Recognition
• Title（参考訳）: 交通信号認識の強化のためのドメイン間Few-shot In-context Learning
• Authors: Yaozong Gan, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama,
• Abstract要約: 交通信号認識の強化を目的としたMLLMに基づくドメイン間数ショットインコンテキスト学習手法を提案する。 記述テキストを使用することで、テンプレートと実際の交通標識のドメイン間差を低減することができる。 提案手法は,大規模交通標識画像やラベルを必要とせず,単純かつ均一なテキスト表示のみを必要とする。
• 参考スコア（独自算出の注目度）: 49.20086587208214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal large language models (MLLM) such as GPT-4o and GPT-4v have shown great potential in autonomous driving. In this paper, we propose a cross-domain few-shot in-context learning method based on the MLLM for enhancing traffic sign recognition (TSR). We first construct a traffic sign detection network based on Vision Transformer Adapter and an extraction module to extract traffic signs from the original road images. To reduce the dependence on training data and improve the performance stability of cross-country TSR, we introduce a cross-domain few-shot in-context learning method based on the MLLM. To enhance MLLM's fine-grained recognition ability of traffic signs, the proposed method generates corresponding description texts using template traffic signs. These description texts contain key information about the shape, color, and composition of traffic signs, which can stimulate the ability of MLLM to perceive fine-grained traffic sign categories. By using the description texts, our method reduces the cross-domain differences between template and real traffic signs. Our approach requires only simple and uniform textual indications, without the need for large-scale traffic sign images and labels. We perform comprehensive evaluations on the German traffic sign recognition benchmark dataset, the Belgium traffic sign dataset, and two real-world datasets taken from Japan. The experimental results show that our method significantly enhances the TSR performance.
• Abstract（参考訳）: GPT-4o や GPT-4v のような最近の多モード大言語モデル (MLLM) は、自律運転において大きな可能性を示している。 本稿では,交通標識認識(TSR)の強化を目的としたMLLMに基づく,ドメイン間数発のコンテキスト内学習手法を提案する。 まず,視覚変換器を用いた交通標識検出ネットワークを構築し,道路画像から交通標識を抽出する抽出モジュールを構築した。 訓練データへの依存を減らし、クロスカントリーTSRの性能安定性を向上させるため、MLLMに基づくクロスドメイン・ショット・イン・コンテクスト学習手法を提案する。 MLLMの交通標識の微粒化認識能力を高めるため,テンプレートによる記述文を生成する。 これらの記述テキストには、交通標識の形状、色、構成に関する重要な情報が含まれており、細かな交通標識カテゴリを知覚するMLLMの能力を刺激することができる。 記述テキストを使用することで、テンプレートと実際の交通標識のドメイン間差を減らすことができる。 提案手法は,大規模交通標識画像やラベルを必要とせず,単純かつ均一なテキスト表示のみを必要とする。 我々は,ドイツ交通標識認識ベンチマークデータセット,ベルギー交通標識データセット,および日本から取得した実世界の2つのデータセットについて総合的な評価を行った。 実験の結果,提案手法はTSR性能を著しく向上させることがわかった。

関連論文リスト

• Revolutionizing Traffic Sign Recognition: Unveiling the Potential of Vision Transformers [0.0]
  交通信号認識(TSR)は、運転支援システムや自動運転車において重要な役割を担っている。 本研究では、ベースラインモデルとしてビジョントランスフォーマー(PVT、TNT、LNL)と6つの畳み込みニューラルネットワーク(AlexNet、ResNet、VGG16、MobileNet、EfficientNet、GoogleNet)を探索する。 従来の手法の欠点に対処するため、新しいピラミッドEATFormerバックボーンを提案し、進化的アルゴリズム(EA)とTransformerアーキテクチャを組み合わせる。
  論文  参考訳（メタデータ） (2024-04-29T19:18:52Z)
• A Holistic Framework Towards Vision-based Traffic Signal Control with Microscopic Simulation [53.39174966020085]
  交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。 本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。 我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-03-11T16:42:29Z)
• BjTT: A Large-scale Multimodal Dataset for Traffic Prediction [49.93028461584377]
  従来の交通予測手法は、交通トレンドを予測するために、過去の交通データに依存している。 本研究では,交通システムを記述するテキストと生成モデルを組み合わせることで,交通生成にどのように応用できるかを考察する。 本稿では,テキスト・トラフィック生成のための最初の拡散モデルChatTrafficを提案する。
  論文  参考訳（メタデータ） (2024-03-08T04:19:56Z)
• Traffic Reconstruction and Analysis of Natural Driving Behaviors at Unsignalized Intersections [1.7273380623090846]
  この研究は、TNのメンフィスにある様々な無署名の交差点で、その日の異なる時間に交通を記録していた。 ビデオデータを手動でラベル付けして特定の変数をキャプチャした後,SUMOシミュレーション環境におけるトラフィックシナリオを再構築した。 これらのシミュレーションから得られた出力データは、車両移動の時間空間図、走行時間頻度分布、ボトルネック点を特定するための速度配置プロットなど、包括的な分析を提供する。
  論文  参考訳（メタデータ） (2023-12-22T09:38:06Z)
• Traffic Sign Recognition Using Local Vision Transformer [1.8416014644193066]
  本稿では,交通信号認識のための畳み込み型ネットワークと変圧器型ネットワークの両利点を融合した新しいモデルを提案する。 提案モデルには、局所的相関をキャプチャする畳み込みブロックと、グローバルな依存関係を学習するトランスフォーマーベースのブロックが含まれる。 実験により, 局所性モジュールを用いたハイブリッドネットワークは, 純粋なトランスフォーマーモデルおよび最も優れた畳み込みネットワークよりも精度が高いことを示した。
  論文  参考訳（メタデータ） (2023-11-11T19:42:41Z)
• A Deeply Supervised Semantic Segmentation Method Based on GAN [9.441379867578332]
  提案モデルは,GAN(Generative Adversarial Network)フレームワークを従来のセマンティックセグメンテーションモデルに統合する。 本手法の有効性は,道路ひび割れデータセットの性能向上によって実証された。
  論文  参考訳（メタデータ） (2023-10-06T08:22:24Z)
• OpenLane-V2: A Topology Reasoning Benchmark for Unified 3D HD Mapping [84.65114565766596]
  交通シーン構造を考慮したトポロジ推論のための最初のデータセットであるOpenLane-V2を提案する。 OpenLane-V2は2000のアノテートされた道路シーンで構成され、交通要素と車線との関係を記述している。 様々な最先端手法を評価し,OpenLane-V2の定量的,定性的な結果を示し,交通現場におけるトポロジ推論の今後の道筋を示す。
  論文  参考訳（メタデータ） (2023-04-20T16:31:22Z)
• TrafficCAM: A Versatile Dataset for Traffic Flow Segmentation [9.744937939618161]
  既存のトラフィックフローデータセットには2つの大きな制限がある。 クラス数は限られており、通常は1種類の車両に限られる。 我々は、TrafficCAMと呼ばれる新しいベンチマークトラフィックフロー画像データセットを導入する。
  論文  参考訳（メタデータ） (2022-11-17T16:14:38Z)
• Deep traffic light detection by overlaying synthetic context on arbitrary natural images [49.592798832978296]
  深部交通光検出器のための人工的な交通関連トレーニングデータを生成する手法を提案する。 このデータは、任意の画像背景の上に偽のトラフィックシーンをブレンドするために、基本的な非現実的なコンピュータグラフィックスを用いて生成される。 また、交通信号データセットの本質的なデータ不均衡問題にも対処し、主に黄色い状態のサンプルの少なさによって引き起こされる。
  論文  参考訳（メタデータ） (2020-11-07T19:57:22Z)
• Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
  単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。