論文の概要: Traffic Sign Interpretation in Real Road Scene

• arxiv url: http://arxiv.org/abs/2311.10793v1
• Date: Fri, 17 Nov 2023 02:30:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 14:23:41.040715
• Title: Traffic Sign Interpretation in Real Road Scene
• Title（参考訳）: 道路シーンにおける交通信号の解釈
• Authors: Chuang Yang, Kai Zhuang, Mulin Chen, Haozhao Ma, Xu Han, Tao Han, Changxing Guo, Han Han, Bingxuan Zhao, and Qi Wang
• Abstract要約: 本稿では,グローバルな意味的相互関連交通標識を自然言語に解釈することを目的とした交通標識解釈(TSI)タスクを提案する。 このデータセットは実際の道路シーンの画像で構成されており、道路や中国の都市部からドライバーの視点から捉えられている。 TSI-CNの実験は、TSIタスクが達成可能であり、TSIアーキテクチャは、シーンからのトラフィックサインをうまく解釈できることを示した。
• 参考スコア（独自算出の注目度）: 18.961971178824715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing traffic sign-related works are dedicated to detecting and recognizing part of traffic signs individually, which fails to analyze the global semantic logic among signs and may convey inaccurate traffic instruction. Following the above issues, we propose a traffic sign interpretation (TSI) task, which aims to interpret global semantic interrelated traffic signs (e.g.,~driving instruction-related texts, symbols, and guide panels) into a natural language for providing accurate instruction support to autonomous or assistant driving. Meanwhile, we design a multi-task learning architecture for TSI, which is responsible for detecting and recognizing various traffic signs and interpreting them into a natural language like a human. Furthermore, the absence of a public TSI available dataset prompts us to build a traffic sign interpretation dataset, namely TSI-CN. The dataset consists of real road scene images, which are captured from the highway and the urban way in China from a driver's perspective. It contains rich location labels of texts, symbols, and guide panels, and the corresponding natural language description labels. Experiments on TSI-CN demonstrate that the TSI task is achievable and the TSI architecture can interpret traffic signs from scenes successfully even if there is a complex semantic logic among signs. The TSI-CN dataset and the source code of the TSI architecture will be publicly available after the revision process.
• Abstract（参考訳）: 既存の交通標識関連作業の多くは、信号機間のグローバルなセマンティックロジックの分析に失敗し、不正確な交通指示を伝達する可能性のある交通標識の一部を個別に検出し、認識することを目的としている。 上記の課題に倣って,グローバルな意味的相互関連交通標識(例えば,運転指示関連テキスト,シンボル,ガイドパネル)を自然言語に解釈し,自律運転やアシスタント運転に正確な指導支援を提供することを目的とした交通標識解釈(TSI)タスクを提案する。 一方,TSIのためのマルチタスク学習アーキテクチャを設計し,様々な交通標識を検出して認識し,それを人間のような自然言語に解釈する。 さらに、パブリックなTSIデータセットがないため、トラフィックサイン解釈データセット、すなわちTSI-CNを構築する必要がある。 このデータセットは実際の道路シーンの画像で構成されており、道路や中国の都市部からドライバーの視点から捉えられている。 テキスト、シンボル、ガイドパネルの豊富な位置ラベルと、対応する自然言語記述ラベルが含まれている。 TSI-CNの実験は、TSIタスクが達成可能であることを示し、TSIアーキテクチャは、記号間に複雑なセマンティックロジックがあっても、シーンからのトラフィックサインをうまく解釈できることを示した。 TSI-CNデータセットとTSIアーキテクチャのソースコードは、修正プロセス後に公開される。

関連論文リスト

• SignEye: Traffic Sign Interpretation from Vehicle First-Person View [43.49612694851131]
  交通規制に従って車両の挙動の評価を可能にすることにより、自動運転システム(ADS)を支援する上で、交通標識が重要な役割を果たしている。 TSI-FPVと呼ばれる車両の1人称視点からの交通標識解釈という新しいタスクを導入する。 また,ADSにおける交通標識の役割を再検討するために,交通誘導アシスタント (TGA) のシナリオアプリケーションを開発した。
  論文  参考訳（メタデータ） (2024-11-18T12:12:33Z)
• TSCLIP: Robust CLIP Fine-Tuning for Worldwide Cross-Regional Traffic Sign Recognition [8.890563785528842]
  交通標識認識の現在の手法は、従来のディープラーニングモデルに依存している。 コントラスト型言語画像事前学習モデルを用いた頑健な微調整手法TSCLIPを提案する。 著者の知る限り、TSCLIPは世界規模のクロスリージョン交通標識認識タスクに使用される最初のコントラスト言語画像モデルである。
  論文  参考訳（メタデータ） (2024-09-23T14:51:26Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Cross-domain Few-shot In-context Learning for Enhancing Traffic Sign Recognition [49.20086587208214]
  交通信号認識の強化を目的としたMLLMに基づくドメイン間数ショットインコンテキスト学習手法を提案する。 記述テキストを使用することで、テンプレートと実際の交通標識のドメイン間差を低減することができる。 提案手法は,大規模交通標識画像やラベルを必要とせず,単純かつ均一なテキスト表示のみを必要とする。
  論文  参考訳（メタデータ） (2024-07-08T10:51:03Z)
• SignBLEU: Automatic Evaluation of Multi-channel Sign Language Translation [3.9711029428461653]
  マルチチャネル手話翻訳(MCSLT)という新しいタスクを導入する。 本稿では,複数の信号チャネルを捕捉する新しい測度であるSignBLEUを提案する。 SignBLEUは、競合する指標よりも、人間の判断と常に相関していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T05:01:26Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• Traffic Scenario Logic: A Spatial-Temporal Logic for Modeling and Reasoning of Urban Traffic Scenarios [6.671075180562082]
  交通シナリオ論理(Traffic Scenario Logic、TSL)は、都市における歩行者自由交通シナリオのモデル化と推論のために設計された時空間論理である。 我々は,TSLを実装したTSL(Telingo,すなわちAnswer Set Programmingに基づく時間的プログラムの解法)を,異なる都市道路レイアウト上でテストした。
  論文  参考訳（メタデータ） (2024-05-22T15:06:50Z)
• TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for Sign Language Translation [101.6042317204022]
  手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。 既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。 我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
  論文  参考訳（メタデータ） (2020-10-12T05:58:09Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。