論文の概要: Traffic Sign Interpretation in Real Road Scene
- arxiv url: http://arxiv.org/abs/2311.10793v2
- Date: Tue, 28 Nov 2023 10:23:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 00:28:36.431771
- Title: Traffic Sign Interpretation in Real Road Scene
- Title(参考訳): 道路シーンにおける交通信号の解釈
- Authors: Chuang Yang, Kai Zhuang, Mulin Chen, Haozhao Ma, Xu Han, Tao Han,
Changxing Guo, Han Han, Bingxuan Zhao, and Qi Wang
- Abstract要約: 本稿では,グローバルな意味的相互関連交通標識を自然言語に解釈することを目的とした交通標識解釈(TSI)タスクを提案する。
このデータセットは実際の道路シーンの画像で構成されており、道路や中国の都市部からドライバーの視点から捉えられている。
TSI-CNの実験は、TSIタスクが達成可能であり、TSIアーキテクチャは、シーンからのトラフィックサインをうまく解釈できることを示した。
- 参考スコア(独自算出の注目度): 18.961971178824715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing traffic sign-related works are dedicated to detecting and
recognizing part of traffic signs individually, which fails to analyze the
global semantic logic among signs and may convey inaccurate traffic
instruction. Following the above issues, we propose a traffic sign
interpretation (TSI) task, which aims to interpret global semantic interrelated
traffic signs (e.g.,~driving instruction-related texts, symbols, and guide
panels) into a natural language for providing accurate instruction support to
autonomous or assistant driving. Meanwhile, we design a multi-task learning
architecture for TSI, which is responsible for detecting and recognizing
various traffic signs and interpreting them into a natural language like a
human. Furthermore, the absence of a public TSI available dataset prompts us to
build a traffic sign interpretation dataset, namely TSI-CN. The dataset
consists of real road scene images, which are captured from the highway and the
urban way in China from a driver's perspective. It contains rich location
labels of texts, symbols, and guide panels, and the corresponding natural
language description labels. Experiments on TSI-CN demonstrate that the TSI
task is achievable and the TSI architecture can interpret traffic signs from
scenes successfully even if there is a complex semantic logic among signs. The
TSI-CN dataset and the source code of the TSI architecture will be publicly
available after the revision process.
- Abstract(参考訳): 既存の交通標識関連作業の多くは、信号機間のグローバルなセマンティックロジックの分析に失敗し、不正確な交通指示を伝達する可能性のある交通標識の一部を個別に検出し、認識することを目的としている。
上記の課題に倣って,グローバルな意味的相互関連交通標識(例えば,運転指示関連テキスト,シンボル,ガイドパネル)を自然言語に解釈し,自律運転やアシスタント運転に正確な指導支援を提供することを目的とした交通標識解釈(TSI)タスクを提案する。
一方,TSIのためのマルチタスク学習アーキテクチャを設計し,様々な交通標識を検出して認識し,それを人間のような自然言語に解釈する。
さらに、パブリックなTSIデータセットがないため、トラフィックサイン解釈データセット、すなわちTSI-CNを構築する必要がある。
このデータセットは実際の道路シーンの画像で構成されており、道路や中国の都市部からドライバーの視点から捉えられている。
テキスト、シンボル、ガイドパネルの豊富な位置ラベルと、対応する自然言語記述ラベルが含まれている。
TSI-CNの実験は、TSIタスクが達成可能であることを示し、TSIアーキテクチャは、記号間に複雑なセマンティックロジックがあっても、シーンからのトラフィックサインをうまく解釈できることを示した。
TSI-CNデータセットとTSIアーキテクチャのソースコードは、修正プロセス後に公開される。
関連論文リスト
- Voice-Assisted Real-Time Traffic Sign Recognition System Using Convolutional Neural Network [0.0]
本研究では,運転者を支援する音声支援リアルタイム交通信号認識システムを提案する。
訓練された畳み込みニューラルネットワーク(CNN)を用いて交通標識の検出と認識を行う。
特定の交通標識を認識した後、テキスト音声エンジンを用いてドライバに音声メッセージとしてナレーションする。
論文 参考訳(メタデータ) (2024-04-11T14:51:12Z) - BjTT: A Large-scale Multimodal Dataset for Traffic Prediction [49.93028461584377]
従来の交通予測手法は、交通トレンドを予測するために、過去の交通データに依存している。
本研究では,交通システムを記述するテキストと生成モデルを組み合わせることで,交通生成にどのように応用できるかを考察する。
本稿では,テキスト・トラフィック生成のための最初の拡散モデルChatTrafficを提案する。
論文 参考訳(メタデータ) (2024-03-08T04:19:56Z) - Instruction-Guided Scene Text Recognition [55.631064880636714]
本稿では、STRを命令学習問題として定式化する新しいパラダイムを提案する。
我々は,効果的なクロスモーダル学習を実現するために,命令誘導型シーンテキスト認識(IGTR)を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:13:01Z) - OpenLane-V2: A Topology Reasoning Benchmark for Unified 3D HD Mapping [84.65114565766596]
交通シーン構造を考慮したトポロジ推論のための最初のデータセットであるOpenLane-V2を提案する。
OpenLane-V2は2000のアノテートされた道路シーンで構成され、交通要素と車線との関係を記述している。
様々な最先端手法を評価し,OpenLane-V2の定量的,定性的な結果を示し,交通現場におけるトポロジ推論の今後の道筋を示す。
論文 参考訳(メタデータ) (2023-04-20T16:31:22Z) - Natural Language-Assisted Sign Language Recognition [28.64871971445024]
自然言語支援手話認識フレームワークを提案する。
グルース(記号ラベル)に含まれる意味情報を利用して、手話における視覚的に区別できない記号(VISigns)の問題を緩和する。
提案手法は, MSASL, WLASL, NMFs-CSLの3つのベンチマークに対して, 最先端性能を実現する。
論文 参考訳(メタデータ) (2023-03-21T17:59:57Z) - CueCAn: Cue Driven Contextual Attention For Identifying Missing Traffic
Signs on Unconstrained Roads [26.649617412538717]
道路の風景画像上で,失明した縁石の位置を推定し,歩行者にとって妥当な地域を推定するために,逸失物検出や非現存物検出が研究されている。
視覚障害者向けに,視覚障害者のための視覚障害者向けビデオデータセットを公開し,視覚障害者が視覚障害者の視線を視認できる複数種類の交通標識を提示する。
エンコーダを訓練して、信号機の存在を分類し、次にセグメントモデル全体をエンドツーエンドにトレーニングし、行方不明の信号機をローカライズする。
論文 参考訳(メタデータ) (2023-03-05T11:06:20Z) - SignNet: Single Channel Sign Generation using Metric Embedded Learning [7.455416595124159]
このモジュールは、text-to-sign (T2S) と sign-to-text (S2T) を含むデュアルラーニング2タスクプロセスの一部に過ぎない。
本稿では,手話埋め込み間の距離を保存するために,新しいメートル法埋め込み学習プロセスを用いたT2SタスクであるSignNetを提案する。
ポーズを取るための光沢なタスクでは、SignNetは最先端のSoTA(SoTA)と同等に実行し、それらをテキストでポーズするタスクで上回った。
論文 参考訳(メタデータ) (2022-12-06T09:37:01Z) - On Salience-Sensitive Sign Classification in Autonomous Vehicle Path
Planning: Experimental Explorations with a Novel Dataset [11.007092387379076]
本稿では,エゴ車両の目標に対して,サインが明確な意味を持つか否かを示すために,新しい特徴であるサインサリエンスを持つデータセットを提案する。
道路タイプ, 画像座標, 計画的な操作により, 刈り取った標識の畳み込みネットワークを用いて, 76%の精度でサインサリエンス特性を予測した。
論文 参考訳(メタデータ) (2021-12-02T02:45:30Z) - TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for
Sign Language Translation [101.6042317204022]
手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。
既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。
我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
論文 参考訳(メタデータ) (2020-10-12T05:58:09Z) - Sign Language Transformers: Joint End-to-end Sign Language Recognition
and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。
RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。
我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文 参考訳(メタデータ) (2020-03-30T21:35:09Z) - Towards Accurate Scene Text Recognition with Semantic Reasoning Networks [52.86058031919856]
本稿では,シーンテキスト認識のための意味推論ネットワーク(SRN)という,エンドツーエンドのトレーニング可能な新しいフレームワークを提案する。
GSRMはマルチウェイ並列伝送によってグローバルセマンティックコンテキストをキャプチャするために導入された。
正規テキスト,不規則テキスト,非ラテン語長文を含む7つの公開ベンチマークの結果,提案手法の有効性とロバスト性を検証した。
論文 参考訳(メタデータ) (2020-03-27T09:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。