論文の概要: Comparative study of adapting pre-trained models for driving behavior video captioning
- arxiv url: http://arxiv.org/abs/2609.39542v1
- Date: Wed, 30 Sep 2026 11:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.62096
- Title: Comparative study of adapting pre-trained models for driving behavior video captioning
- Title（参考訳）: 運転行動映像キャプションのための事前学習モデルの比較検討
- Abstract要約: 本研究の目的は,運転状況の低次元理解を主試験モデルであるSpaceTimeGPTに誘導することである。
BDD-Xデータセットの実験では、いくつかの自動メトリクス上での完全な微調整フレームワークのパフォーマンスが示されている。
また、ローランド適応(LoRA)を試行し、VideoLLaVAモデル上でのエンジニアリングを促進させ、その制限について議論する。
- 参考スコア（独自算出の注目度）: 1.0323063834827413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This report examines and compares some of the many fine tuning and prompting methods existing, applying them within the domain of autonomous driving. The idea is to compare these methods by adapting a Large Language Model (LLM) on a video dataset. LLM's have become extremely good at achieving a good understanding of different forms of data and this study aims to induce a low dimensional understanding of driving situations into our primary test model SpaceTimeGPT. Experiments on BDD-X (Berkeley DeepDrive eXplanation) dataset demonstrate good performance of the full fine tuning framework on some automatic metrics, and in some metrics, it even surpasses the baseline. We also try Low-Rank Adaptation (LoRA) and prompt engineering on VideoLLaVA model and discuss its limitations.
- Abstract（参考訳）: 本報告では、自律運転の領域に応用して、多数の微調整と方法のいくつかを検証し、比較する。
ビデオデータセットにLarge Language Model (LLM)を適用することで、これらの手法を比較する。
LLMは様々なデータ形態の理解に非常に優れており、本研究は、運転状況の低次元理解を、私たちの一次テストモデルであるSpaceTimeGPTに誘導することを目的としている。
BDD-X(Berkeley DeepDrive eXplanation)データセットの実験では、いくつかの自動メトリクス上での完全な微調整フレームワークのパフォーマンスが向上している。
また、ローランド適応(LoRA)を試行し、VideoLLaVAモデル上でのエンジニアリングを促進させ、その制限について議論する。
関連論文リスト
- Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion [5.557543974847597]
本稿では,自律運転認識タスクを1回の前方通過で処理する,小型な深層マルチタスク学習モデルを提案する。
このモデルは、セマンティックセグメンテーション、深度推定、光検出・測光(LiDAR)セグメンテーション、鳥の視線投影を同時に行う。
論文 参考訳（メタデータ） (2026-06-02T00:35:42Z) - Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。
実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
論文 参考訳（メタデータ） (2024-09-27T08:20:59Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。
GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文 参考訳（メタデータ） (2024-05-09T17:52:42Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳（メタデータ） (2023-12-14T18:59:05Z) - Can Deep Learning be Applied to Model-Based Multi-Object Tracking? [25.464269324261636]
マルチオブジェクトトラッキング(MOT)は、ノイズ測定を用いて未知の、時間変化のあるオブジェクトの状態をトラッキングする問題である。
ディープラーニング(DL)は、トラッキングパフォーマンスを改善するために、MOTでますます使われている。
本稿では,TransformerベースのDLトラッカーを提案し,その性能をモデルベースで評価する。
論文 参考訳（メタデータ） (2022-02-16T07:43:08Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。