論文の概要: Think Twice Before Recognizing: Large Multimodal Models for General Fine-grained Traffic Sign Recognition

• arxiv url: http://arxiv.org/abs/2409.01534v1
• Date: Tue, 3 Sep 2024 02:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-06 03:21:06.688939
• Title: Think Twice Before Recognizing: Large Multimodal Models for General Fine-grained Traffic Sign Recognition
• Title（参考訳）: 認識する前に考える: 交通信号認識のための大規模マルチモーダルモデル
• Authors: Yaozong Gan, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama,
• Abstract要約: 我々は、微粒な交通標識認識(TSR)を改善するために認識する前に、思考と呼ばれる新しい戦略を提案する。 我々の戦略は、大型マルチモーダルモデル(LMM)の多重思考能力を刺激することで、有効な微粒化TSRを実現する。
• 参考スコア（独自算出の注目度）: 49.20086587208214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new strategy called think twice before recognizing to improve fine-grained traffic sign recognition (TSR). Fine-grained TSR in the wild is difficult due to the complex road conditions, and existing approaches particularly struggle with cross-country TSR when data is lacking. Our strategy achieves effective fine-grained TSR by stimulating the multiple-thinking capability of large multimodal models (LMM). We introduce context, characteristic, and differential descriptions to design multiple thinking processes for the LMM. The context descriptions with center coordinate prompt optimization help the LMM to locate the target traffic sign in the original road images containing multiple traffic signs and filter irrelevant answers through the proposed prior traffic sign hypothesis. The characteristic description is based on few-shot in-context learning of template traffic signs, which decreases the cross-domain difference and enhances the fine-grained recognition capability of the LMM. The differential descriptions of similar traffic signs optimize the multimodal thinking capability of the LMM. The proposed method is independent of training data and requires only simple and uniform instructions. We conducted extensive experiments on three benchmark datasets and two real-world datasets from different countries, and the proposed method achieves state-of-the-art TSR results on all five datasets.
• Abstract（参考訳）: 本稿では,微粒な交通標識認識(TSR)を改善するために認識する前に,思考と呼ばれる新たな戦略を提案する。 複雑な道路条件のため、野生の微粒なTSRは困難であり、既存のアプローチではデータが不足している場合、特にクロスカントリーなTSRに苦しむ。 我々の戦略は、大規模マルチモーダルモデル(LMM)の多重思考能力を刺激することにより、有効な微粒化TSRを実現する。 LMMのための複数の思考プロセスを設計するために、文脈、特徴、微分記述を導入する。 中心座標のプロンプト最適化によるコンテキスト記述は、LMMが複数の交通標識を含む元の道路画像中の目標交通標識を見つけ出し、提案した先行交通標識仮説を通じて無関係な回答をフィルタリングするのに役立つ。 特徴的記述はテンプレートトラヒックのテキスト内学習に基づいており、これによりドメイン間の差が小さくなり、LMMの微粒化認識能力が向上する。 類似の交通標識の差分記述は、LMMのマルチモーダル思考能力を最適化する。 提案手法はトレーニングデータとは独立であり,単純かつ均一な命令のみを必要とする。 各国の3つのベンチマークデータセットと2つの実世界のデータセットについて広範な実験を行い、提案手法は5つのデータセットすべてに対して最先端のTSR結果を得る。

関連論文リスト

• Contrastive Learning-Driven Traffic Sign Perception: Multi-Modal Fusion of Text and Vision [2.0720154517628417]
  オープン語彙検出とクロスモーダル学習を組み合わせた新しいフレームワークを提案する。 交通信号検出のために,NanoVerse YOLOモデルは視覚言語パス集約ネットワーク(RepVL-PAN)とSPD-Convモジュールを統合している。 交通標識分類のための交通信号認識マルチモーダルコントラスト学習モデル(TSR-MCL)を設計した。 TT100Kデータセットでは,全クラス認識のためのロングテール検出タスクにおいて,最先端の78.4%mAPを実現する。
  論文  参考訳（メタデータ） (2025-07-31T08:23:30Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• Towards Intelligent Transportation with Pedestrians and Vehicles In-the-Loop: A Surveillance Video-Assisted Federated Digital Twin Framework [62.47416496137193]
  本稿では,歩行者や車いすによるITSを支援するための監視ビデオ支援型デジタルツイン(SV-FDT)フレームワークを提案する。 i)複数のソースからトラフィック監視ビデオを収集するエンドレイヤ、(ii)セマンティックセグメンテーションに基づく視覚理解、ツインエージェントベースのインタラクションモデリング、およびローカルデジタルツインシステム(LDTS)をローカルで作成するエッジレイヤ、(iii)異なるリージョンにわたるLDTSを統合してグローバルDTモデルをリアルタイムで構築するクラウドレイヤの3層で構成されている。
  論文  参考訳（メタデータ） (2025-03-06T07:36:06Z)
• PFSD: A Multi-Modal Pedestrian-Focus Scene Dataset for Rich Tasks in Semi-Structured Environments [73.80718037070773]
  本稿では, 半構造化シーンに, nuScenesの形式を付加したマルチモーダルなPedestrian-Focused Sceneデータセットを提案する。 また,密集・隠蔽シナリオにおける歩行者検出のためのHMFN(Hybrid Multi-Scale Fusion Network)を提案する。
  論文  参考訳（メタデータ） (2025-02-21T09:57:53Z)
• Multimodal Task Representation Memory Bank vs. Catastrophic Forgetting in Anomaly Detection [6.991692485111346]
  教師なし連続異常検出(UCAD)はマルチタスク表現学習において大きな課題に直面している。 本稿では,MTRMB(Multimodal Task Representation Memory Bank)方式を提案する。 MVtec AD と VisA データセットの実験では、MTRMB の優位性が示され、平均検出精度は 0.921 である。
  論文  参考訳（メタデータ） (2025-02-10T06:49:54Z)
• MM-Path: Multi-modal, Multi-granularity Path Representation Learning -- Extended Version [12.938987616850389]
  マルチモーダル・マルチグラニュラリティパス表現学習フレームワーク(MM-Path)を提案する。 MM-Pathは道路経路と画像経路の両方からモダリティを統合することで、一般的な経路表現を学習することができる。
  論文  参考訳（メタデータ） (2024-11-27T15:10:22Z)
• Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
  交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。 近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。 我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
  論文  参考訳（メタデータ） (2024-10-28T09:19:29Z)
• TSCLIP: Robust CLIP Fine-Tuning for Worldwide Cross-Regional Traffic Sign Recognition [8.890563785528842]
  TSCLIPは、世界中の交通標識認識のための対照的な言語画像事前学習モデルを用いて、堅牢な微調整手法である。 著者の知る限り、TSCLIPは世界規模のクロスリージョン交通標識認識タスクに使用される最初のコントラスト言語画像モデルである。
  論文  参考訳（メタデータ） (2024-09-23T14:51:26Z)
• Cross-domain Few-shot In-context Learning for Enhancing Traffic Sign Recognition [49.20086587208214]
  交通信号認識の強化を目的としたMLLMに基づくドメイン間数ショットインコンテキスト学習手法を提案する。 記述テキストを使用することで、テンプレートと実際の交通標識のドメイン間差を低減することができる。 提案手法は,大規模交通標識画像やラベルを必要とせず,単純かつ均一なテキスト表示のみを必要とする。
  論文  参考訳（メタデータ） (2024-07-08T10:51:03Z)
• Revolutionizing Traffic Sign Recognition: Unveiling the Potential of Vision Transformers [0.0]
  交通信号認識(TSR)は、運転支援システムや自動運転車において重要な役割を担っている。 本研究では、ベースラインモデルとしてビジョントランスフォーマー(PVT、TNT、LNL)と6つの畳み込みニューラルネットワーク(AlexNet、ResNet、VGG16、MobileNet、EfficientNet、GoogleNet)を探索する。 従来の手法の欠点に対処するため、新しいピラミッドEATFormerバックボーンを提案し、進化的アルゴリズム(EA)とTransformerアーキテクチャを組み合わせる。
  論文  参考訳（メタデータ） (2024-04-29T19:18:52Z)
• A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels [22.2715520667186]
  クロスモーダル検索(CMR)は、異なるモーダル間の相互作用を確立することを目的としている。 本研究は,ロバスト・クロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。 広範に使用されている3つのクロスモーダル検索データセットの実験は、我々のOT-RCLが最先端のアプローチを超越していることを示している。
  論文  参考訳（メタデータ） (2024-03-20T10:34:40Z)
• Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods [50.67996219968513]
  本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 入力空間の次元の2次パースタンスコストで精度よく近似的な再帰を実現する。 我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
  論文  参考訳（メタデータ） (2023-08-03T01:41:34Z)
• Short-term passenger flow prediction for multi-traffic modes: A residual network and Transformer based multi-task learning method [21.13073816634534]
  Res-Transformerは、複数交通モードの短期的乗客フロー予測のための学習モデルである。 モデルは北京の2つの大規模な実世界のデータセットで評価される。 本稿では,複数交通モードにおける短時間の乗客フロー予測について,重要な洞察を与えることができる。
  論文  参考訳（メタデータ） (2022-02-27T01:09:19Z)
• Aerial Images Meet Crowdsourced Trajectories: A New Approach to Robust Road Extraction [110.61383502442598]
  我々は、Cross-Modal Message Propagation Network (CMMPNet)と呼ばれる新しいニューラルネットワークフレームワークを紹介する。 CMMPNetは、モダリティ固有の表現学習のための2つのディープオートエンコーダと、クロスモーダル表現洗練のためのテーラー設計のデュアルエンハンスメントモジュールで構成されている。 実世界の3つのベンチマーク実験により, CMMPNetによる堅牢な道路抽出の有効性が示された。
  論文  参考訳（メタデータ） (2021-11-30T04:30:10Z)
• Physics-Informed Deep Learning for Traffic State Estimation [3.779860024918729]
  交通状態推定(TSE)は、部分的に観測されたデータを用いて道路セグメント上の交通変数(例えば密度)を再構築する。 本論文では,少量の観測データを用いて高品質なTSEを効率的に実行するための物理情報深層学習(PIDL)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2021-01-17T03:28:32Z)
• SMART: Simultaneous Multi-Agent Recurrent Trajectory Prediction [72.37440317774556]
  本稿では,将来の軌道予測における2つの重要な課題に対処する手法を提案する。 エージェントの数に関係なく、トレーニングデータと予測と一定時間の推測の両方において、マルチモーダリティ。
  論文  参考訳（メタデータ） (2020-07-26T08:17:10Z)
• X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data [69.37597254841052]
  我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。 X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。 我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
  論文  参考訳（メタデータ） (2020-06-24T15:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。