論文の概要: FindVehicle and VehicleFinder: A NER dataset for natural language-based
vehicle retrieval and a keyword-based cross-modal vehicle retrieval system
- arxiv url: http://arxiv.org/abs/2304.10893v1
- Date: Fri, 21 Apr 2023 11:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 15:03:28.408507
- Title: FindVehicle and VehicleFinder: A NER dataset for natural language-based
vehicle retrieval and a keyword-based cross-modal vehicle retrieval system
- Title(参考訳): FindVehicle and VehicleFinder: 自然言語による車両検索のためのNERデータセットとキーワードに基づくクロスモーダル車両検索システム
- Authors: Runwei Guan, Ka Lok Man, Feifan Chen, Shanliang Yao, Rongsheng Hu,
Xiaohui Zhu, Jeremy Smith, Eng Gee Lim and Yutao Yue
- Abstract要約: 自然言語(NL)に基づく車両検索は,すべての候補車から与えられたNLクエリに最も整合した車両の検索を目的としたタスクである。
これらの問題に対処し、単純化するために、名前付きエンティティ認識(NER)からアイデアを借り、トラフィック領域におけるNERデータセットであるFindVehicleを構築します。
VehicleFinderは87.7%の精度と89.4%のリコールを達成した。
- 参考スコア(独自算出の注目度): 7.078561467480664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language (NL) based vehicle retrieval is a task aiming to retrieve a
vehicle that is most consistent with a given NL query from among all candidate
vehicles. Because NL query can be easily obtained, such a task has a promising
prospect in building an interactive intelligent traffic system (ITS). Current
solutions mainly focus on extracting both text and image features and mapping
them to the same latent space to compare the similarity. However, existing
methods usually use dependency analysis or semantic role-labelling techniques
to find keywords related to vehicle attributes. These techniques may require a
lot of pre-processing and post-processing work, and also suffer from extracting
the wrong keyword when the NL query is complex. To tackle these problems and
simplify, we borrow the idea from named entity recognition (NER) and construct
FindVehicle, a NER dataset in the traffic domain. It has 42.3k labelled NL
descriptions of vehicle tracks, containing information such as the location,
orientation, type and colour of the vehicle. FindVehicle also adopts both
overlapping entities and fine-grained entities to meet further requirements. To
verify its effectiveness, we propose a baseline NL-based vehicle retrieval
model called VehicleFinder. Our experiment shows that by using text encoders
pre-trained by FindVehicle, VehicleFinder achieves 87.7\% precision and 89.4\%
recall when retrieving a target vehicle by text command on our homemade dataset
based on UA-DETRAC. The time cost of VehicleFinder is 279.35 ms on one ARM v8.2
CPU and 93.72 ms on one RTX A4000 GPU, which is much faster than the
Transformer-based system. The dataset is open-source via the link
https://github.com/GuanRunwei/FindVehicle, and the implementation can be found
via the link https://github.com/GuanRunwei/VehicleFinder-CTIM.
- Abstract(参考訳): 自然言語(NL)に基づく車両検索は,すべての候補車から与えられたNLクエリに最も整合した車両の検索を目的としたタスクである。
NLクエリは容易に取得できるため、対話型インテリジェント交通システム(ITS)を構築する上で有望な可能性を持っている。
現在のソリューションは主にテキストと画像の特徴を抽出し、類似性を比較するためにそれらを同じ潜在空間にマッピングすることに焦点を当てている。
しかしながら、既存のメソッドは通常、依存分析やセマンティックロールラベル技術を使用して、車両属性に関連するキーワードを見つける。
これらのテクニックは、多くの前処理と後処理を必要とし、また、NLクエリが複雑であるときに間違ったキーワードを抽出するのに苦労する。
これらの問題に対処し、単純化するために、名前付きエンティティ認識(NER)からアイデアを借り、トラフィック領域におけるNERデータセットであるFindVehicleを構築します。
車両の軌跡のnl記述は42.3kで、車両の位置、方向、種類、色などの情報を含んでいる。
FindVehicleはまた、さらなる要件を満たすために重複するエンティティときめ細かいエンティティも採用している。
本手法の有効性を検証するために,VantureFinderと呼ばれるベースラインNLに基づく車両検索モデルを提案する。
本実験では,findvehicleで事前学習したテキストエンコーダを用いて,ua-detracに基づく自製データセット上で,目標車両をテキストコマンドで検索した場合,87.7\%精度と89.4\%リコールを実現する。
VehicleFinderの時間費用はARM v8.2 CPUで279.35ms、RTX A4000 GPUで93.72msであり、Transformerベースのシステムよりはるかに高速である。
データセットはhttps://github.com/GuanRunwei/FindVehicleのリンクでオープンソース化されており、実装はhttps://github.com/GuanRunwei/VehicleFinder-CTIMで確認できる。
関連論文リスト
- SalienDet: A Saliency-based Feature Enhancement Algorithm for Object
Detection for Autonomous Driving [160.57870373052577]
未知の物体を検出するために,サリエンデット法(SalienDet)を提案する。
我々のSaienDetは、オブジェクトの提案生成のための画像機能を強化するために、サリエンシに基づくアルゴリズムを利用している。
オープンワールド検出を実現するためのトレーニングサンプルセットにおいて、未知のオブジェクトをすべてのオブジェクトと区別するためのデータセットレザベリングアプローチを設計する。
論文 参考訳(メタデータ) (2023-05-11T16:19:44Z) - AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph
Neural Networks [75.11008617118908]
AutoML技術は、各タスクをスクラッチから独立して考慮し、高い計算コストをもたらす。
本稿では,従来の設計知識を新たな関心事に伝達することで,検索効率を向上させるAutoTransferを提案する。
論文 参考訳(メタデータ) (2023-03-14T07:23:16Z) - HPointLoc: Point-based Indoor Place Recognition using Synthetic RGB-D
Images [58.720142291102135]
本稿では,屋内環境における視覚的位置認識能力の探索を目的とした,HPointLocという新しいデータセットを提案する。
データセットは人気のあるHabitatシミュレータに基づいており、独自のセンサーデータとオープンデータセットの両方を使用して屋内シーンを生成することができる。
論文 参考訳(メタデータ) (2022-12-30T12:20:56Z) - Symmetric Network with Spatial Relationship Modeling for Natural
Language-based Vehicle Retrieval [3.610372087454382]
自然言語(NL)に基づく車両検索は,特定の車両のテキスト記述を検索することを目的としている。
NLに基づく車両検索のための空間関係モデリング(SSM)手法を提案する。
第6回AIシティチャレンジでは43.92%のMRR精度を達成した。
論文 参考訳(メタデータ) (2022-06-22T07:02:04Z) - Connecting Language and Vision for Natural Language-Based Vehicle
Retrieval [77.88818029640977]
本稿では,言語記述という新たなモダリティを,興味ある車両の探索に適用する。
言語と視覚を結びつけるために,トランスフォーマーに基づく言語モデルを用いて最先端の視覚モデルを共同で訓練することを提案する。
提案手法は第5回AIシティチャレンジで1位を獲得し、18.69%のMRRの精度で競争性能を得た。
論文 参考訳(メタデータ) (2021-05-31T11:42:03Z) - SBNet: Segmentation-based Network for Natural Language-based Vehicle
Search [8.286899656309476]
自然言語に基づく車両検索は、自然言語をクエリとして記述し、所定の画像内で対象車両を見つけるタスクである。
この技術は、容疑者の車両を捜索する警察を含む様々な分野に適用することができる。
車両検索のための自然言語に基づくセグメンテーションを行うディープニューラルネットワークSBNetを提案する。
論文 参考訳(メタデータ) (2021-04-22T08:06:17Z) - Topo-boundary: A Benchmark Dataset on Topological Road-boundary
Detection Using Aerial Images for Autonomous Driving [11.576868193291997]
オフライントポロジカル道路境界検出のための新しいベンチマークデータセットであるtextitTopo-boundaryを提案する。
データセットには21,556$1000times 1000$-size 4-channel aerial imageが含まれる。
データセットを用いて,3つのセグメンテーションベースラインと5つのグラフベースラインを実装し,評価する。
論文 参考訳(メタデータ) (2021-03-31T14:42:00Z) - Object Detection and Tracking Algorithms for Vehicle Counting: A
Comparative Analysis [3.093890460224435]
著者は、さまざまな種類の車両を検出し、追跡するために、アートオブジェクトの検出と追跡アルゴリズムのいくつかの状態をデプロイする。
モデルの組み合わせを検証し、手動で数えた9時間以上の交通映像データと比較する。
その結果,CentralNet,Deep SORT,Deuterron2,Deep SORT,YOLOv4,Deep SORTの組み合わせは全車種で最高の総計数率を示した。
論文 参考訳(メタデータ) (2020-07-31T17:49:27Z) - Vehicle Detection of Multi-source Remote Sensing Data Using Active
Fine-tuning Network [26.08837467340853]
提案するMs-AFtフレームワークは,移動学習,セグメンテーション,アクティブな分類を,自動ラベリングと検出のための統合されたフレームワークに統合する。
提案したMs-AFtは、未ラベルのデータセットから車両のトレーニングセットを最初に生成するために、微調整ネットワークを使用している。
2つのオープンISPRSベンチマークデータセットで実施された大規模な実験結果は、車両検出のための提案されたMs-AFtの優位性と有効性を示している。
論文 参考訳(メタデータ) (2020-07-16T17:46:46Z) - VehicleNet: Learning Robust Visual Representation for Vehicle
Re-identification [116.1587709521173]
我々は,4つのパブリックな車両データセットを活用することで,大規模車両データセット(VabyNet)を構築することを提案する。
VehicleNetからより堅牢な視覚表現を学習するための、シンプルで効果的な2段階プログレッシブアプローチを設計する。
AICity Challengeのプライベートテストセットにおいて,最先端の精度86.07%mAPを実現した。
論文 参考訳(メタデータ) (2020-04-14T05:06:38Z) - PyODDS: An End-to-end Outlier Detection System with Automated Machine
Learning [55.32009000204512]
PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。
具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。
また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
論文 参考訳(メタデータ) (2020-03-12T03:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。