論文の概要: TB-Bench: Training and Testing Multi-Modal AI for Understanding Spatio-Temporal Traffic Behaviors from Dashcam Images/Videos

• arxiv url: http://arxiv.org/abs/2501.05733v1
• Date: Fri, 10 Jan 2025 06:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:31.113312
• Title: TB-Bench: Training and Testing Multi-Modal AI for Understanding Spatio-Temporal Traffic Behaviors from Dashcam Images/Videos
• Title（参考訳）: TB-Bench: ダッシュボードイメージ/ビデオからの時空間交通行動理解のためのマルチモーダルAIのトレーニングとテスト
• Authors: Korawat Charoenpitaks, Van-Quang Nguyen, Masanori Suganuma, Kentaro Arai, Seiji Totsuka, Hiroshi Ino, Takayuki Okatani,
• Abstract要約: 本研究では,エゴ中心の視点から,8つの知覚タスク間の交通行動を理解するためのMLLMの評価ベンチマークTB-Benchを提案する。 また、視覚指導チューニング、TB-100k、TB-250k、タスクの単純かつ効果的なベースラインも導入する。 対照的に、TB-100kまたはTB-250kの微調整では、ベースラインモデルの平均精度が85%まで向上し、タスクの性能が大幅に向上する。
• 参考スコア（独自算出の注目度）: 17.41208629642756
• License:
• Abstract: The application of Multi-modal Large Language Models (MLLMs) in Autonomous Driving (AD) faces significant challenges due to their limited training on traffic-specific data and the absence of dedicated benchmarks for spatiotemporal understanding. This study addresses these issues by proposing TB-Bench, a comprehensive benchmark designed to evaluate MLLMs on understanding traffic behaviors across eight perception tasks from ego-centric views. We also introduce vision-language instruction tuning datasets, TB-100k and TB-250k, along with simple yet effective baselines for the tasks. Through extensive experiments, we show that existing MLLMs underperform in these tasks, with even a powerful model like GPT-4o achieving less than 35% accuracy on average. In contrast, when fine-tuned with TB-100k or TB-250k, our baseline models achieve average accuracy up to 85%, significantly enhancing performance on the tasks. Additionally, we demonstrate performance transfer by co-training TB-100k with another traffic dataset, leading to improved performance on the latter. Overall, this study represents a step forward by introducing a comprehensive benchmark, high-quality datasets, and baselines, thus supporting the gradual integration of MLLMs into the perception, prediction, and planning stages of AD.
• Abstract（参考訳）: 自律運転(AD)におけるMLLM(Multi-modal Large Language Models)の適用は、交通特化データに対する限られたトレーニングと時空間的理解のための専用のベンチマークがないため、大きな課題に直面している。 本研究は,エゴ中心の視点から,8つの知覚タスクにわたる交通行動の理解において,MLLMを評価するための総合的なベンチマークであるTB-Benchを提案することによって,これらの問題に対処する。 また,視覚言語命令チューニングデータセット,TB-100k,TB-250kを導入し,タスクをシンプルかつ効果的にベースライン化する。 GPT-4oのような強力なモデルでさえ、平均して35%未満の精度を実現している。 対照的に、TB-100kまたはTB-250kの微調整では、ベースラインモデルの平均精度が85%まで向上し、タスクの性能が大幅に向上する。 さらに,TB-100kと他のトラフィックデータセットの併用による性能伝達を実証し,後者の性能向上を図った。 本研究は、総合的なベンチマーク、高品質データセット、ベースラインを導入し、ADの知覚、予測、計画段階へのMLLMの段階的な統合をサポートする。

関連論文リスト

• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
  Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。 本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。 バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
  論文  参考訳（メタデータ） (2024-04-18T14:14:44Z)
• Foundation Models for Structural Health Monitoring [17.37816294594306]
  本稿では,トランスフォーマーニューラルネットワークをMasked Auto-Encoderアーキテクチャを用いて,構造的健康モニタリングのための基礎モデルとして初めて利用することを提案する。 自己教師付き事前学習を通じて、複数の大規模データセットから一般化可能な表現を学習する能力を実証する。 本研究は,3つの運用用インダクトのデータを用いた基礎モデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-04-03T13:32:44Z)
• Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
  本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。 我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。 我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
  論文  参考訳（メタデータ） (2023-07-28T16:03:28Z)
• Q-YOLOP: Quantization-aware You Only Look Once for Panoptic Driving Perception [6.3709120604927945]
  本稿では, 物体検出, 乾燥領域分割, レーン線分割のための効率的かつ定量的なパン光学駆動認識モデル(Q-YOLOP)を提案する。 提案モデルでは,オブジェクト検出用 mAP@0.5 とセグメンテーション用 mIoU の mAP@0.5 およびセグメンテーション用 mIoU を用いて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-07-10T13:02:46Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Instruction Tuned Models are Quick Learners [20.771930945083994]
  そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。 STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。 MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
  論文  参考訳（メタデータ） (2023-05-17T22:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。