論文の概要: LLAVIDAL: A Large LAnguage VIsion Model for Daily Activities of Living

• arxiv url: http://arxiv.org/abs/2406.09390v3
• Date: Tue, 25 Mar 2025 18:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:18:42.370570
• Title: LLAVIDAL: A Large LAnguage VIsion Model for Daily Activities of Living
• Title（参考訳）: LLAVIDAL:生活活動のための大規模Language Vision Model
• Authors: Dominick Reilly, Rajatsubhra Chakraborty, Arkaprava Sinha, Manish Kumar Govind, Pu Wang, Francois Bremond, Le Xue, Srijan Das,
• Abstract要約: 現在のLarge Language Models(LLVM)は、一般的な理解ではよく機能するが、詳細な時間的詳細には耐えられない。 この制限は、特別なADLビデオの授業調整と、モダリティ統合の欠如に起因している。 本稿では,多視点マルチモーダル RGBS 命令チューニングデータセットである ADL-X を作成した ADL データセットの半きめ細かいフレームワークを提案する。 ADLの複雑な関係をモデル化するために,ビデオ,3Dスケルトン,HOIをLLVMに統合するLLAVIDALも導入した。
• 参考スコア（独自算出の注目度）: 15.062325300795257
• License:
• Abstract: Current Large Language Vision Models (LLVMs) trained on web videos perform well in general video understanding but struggle with fine-grained details, complex human-object interactions (HOI), and view-invariant representation learning essential for Activities of Daily Living (ADL). This limitation stems from a lack of specialized ADL video instruction-tuning datasets and insufficient modality integration to capture discriminative action representations. To address this, we propose a semi-automated framework for curating ADL datasets, creating ADL-X, a multiview, multimodal RGBS instruction-tuning dataset. Additionally, we introduce LLAVIDAL, an LLVM integrating videos, 3D skeletons, and HOIs to model ADL's complex spatiotemporal relationships. For training LLAVIDAL a simple joint alignment of all modalities yields suboptimal results; thus, we propose a Multimodal Progressive (MMPro) training strategy, incorporating modalities in stages following a curriculum. We also establish ADL MCQ and video description benchmarks to assess LLVM performance in ADL tasks. Trained on ADL-X, LLAVIDAL achieves state-of-the-art performance across ADL benchmarks. Code and data will be made publicly available at: https://adl-x.github.io/.
• Abstract（参考訳）: 現在のLarge Language Vision Models(LLVM)は、一般的なビデオ理解ではよく機能するが、細かな細部、複雑な人間とオブジェクトの相互作用(HOI)、日々の生活活動に不可欠なビュー不変表現学習(ADL)に苦慮している。 この制限は、特殊なADLビデオインストラクションチューニングデータセットの欠如と、差別的な行動表現を捉えるためのモダリティ統合が不十分であることに起因する。 そこで本研究では、ADLデータセットを半自動で計算し、マルチビューでマルチモーダルなRGBS命令チューニングデータセットであるADL-Xを作成する。 さらに,ADLの複雑な時空間関係をモデル化するために,ビデオ,3Dスケルトン,HOIを統合したLLVMであるLLAVIDALを導入する。 LLAVIDALをトレーニングするためには、全てのモダリティの単純な結合アライメントが最適以下の結果をもたらすので、カリキュラムに続く段階にモダリティを取り入れたマルチモーダルプログレッシブ(MMPro)トレーニング戦略を提案する。 また、ADLタスクのLLVM性能を評価するために、ADL MCQとビデオ記述ベンチマークを構築した。 ADL-XでトレーニングされたLLAVIDALは、ADLベンチマーク全体で最先端のパフォーマンスを達成する。 コードとデータは、https://adl-x.github.io/で公開される。

関連論文リスト

• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• LLMBind: A Unified Modality-Task Integration Framework [38.95771765322677]
  多様なマルチモーダルタスクを統一する新しいフレームワークである textbfLLMBind を導入する。 LLMBindはMixture-of-Experts (MoE) Large Language Model (LLM)を利用してマルチモーダル入力を処理し、タスク固有のトークンを生成する。
  論文  参考訳（メタデータ） (2024-02-22T12:36:31Z)
• SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models [97.40590590880144]
  MLLM(Multimodality Large Language Model)シリーズを開発した。 我々は、言語、ビジョン、視覚言語タスクで利用可能なリソースを網羅した包括的なデータセットを組み立てる。 パラメータサイズや多言語能力の異なるMLLMのスペクトルを得る。
  論文  参考訳（メタデータ） (2024-02-08T18:59:48Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• E-ViLM: Efficient Video-Language Model via Masked Video Modeling with Semantic Vector-Quantized Tokenizer [5.7254320553764]
  E-ViLMはビデオ言語コーパスから表現表現を学習し、広範なビデオ言語タスクにうまく一般化することができる。 我々のモデルはMSRVTTベンチマークで399.3ドル%トップ1ドル精度に達し、最先端の大規模VLアーキテクチャの精度の91.4ドル%を維持している。
  論文  参考訳（メタデータ） (2023-11-28T22:57:17Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。