論文の概要: PerspectiveNet: Multi-View Perception for Dynamic Scene Understanding

• arxiv url: http://arxiv.org/abs/2410.16824v1
• Date: Tue, 22 Oct 2024 08:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:08.428958
• Title: PerspectiveNet: Multi-View Perception for Dynamic Scene Understanding
• Title（参考訳）: PerspectiveNet:動的シーン理解のためのマルチビュー知覚
• Authors: Vinh Nguyen,
• Abstract要約: PerspectiveNetは、複数のカメラビューにわたる長い記述を生成するための軽量モデルである。 提案手法では,視覚エンコーダ,コンパクトコネクタモジュール,および大規模言語モデルを用いる。 結果として得られるモデルは軽量で、効率的なトレーニングと推論を確実にします。
• 参考スコア（独自算出の注目度）: 1.2781698000674653
• License:
• Abstract: Generating detailed descriptions from multiple cameras and viewpoints is challenging due to the complex and inconsistent nature of visual data. In this paper, we introduce PerspectiveNet, a lightweight yet efficient model for generating long descriptions across multiple camera views. Our approach utilizes a vision encoder, a compact connector module to convert visual features into a fixed-size tensor, and large language models (LLMs) to harness the strong natural language generation capabilities of LLMs. The connector module is designed with three main goals: mapping visual features onto LLM embeddings, emphasizing key information needed for description generation, and producing a fixed-size feature matrix. Additionally, we augment our solution with a secondary task, the correct frame sequence detection, enabling the model to search for the correct sequence of frames to generate descriptions. Finally, we integrate the connector module, the secondary task, the LLM, and a visual feature extraction model into a single architecture, which is trained for the Traffic Safety Description and Analysis task. This task requires generating detailed, fine-grained descriptions of events from multiple cameras and viewpoints. The resulting model is lightweight, ensuring efficient training and inference, while remaining highly effective.
• Abstract（参考訳）: 複数のカメラや視点から詳細な説明を生成することは、視覚データの複雑で一貫性のない性質のため困難である。 本稿では,複数のカメラビューにまたがる長い記述を生成する軽量かつ効率的なモデルであるAspectNetを紹介する。 提案手法では,視覚的特徴を固定サイズのテンソルに変換するためのコンパクトなコネクタモジュールである視覚エンコーダと,LLMの強力な自然言語生成能力を活用するための大規模言語モデル(LLM)を用いる。 コネクタモジュールは、視覚的特徴をLLM埋め込みにマッピングすること、記述生成に必要な重要な情報を強調すること、固定サイズの特徴行列を生成すること、の3つの主な目標で設計されている。 さらに,第2のタスクである正しいフレームシーケンス検出により,モデルが正しいフレームシーケンスを探索して記述を生成することができるようにして,ソリューションを強化した。 最後に、接続モジュール、二次タスク、LCM、視覚特徴抽出モデルを単一のアーキテクチャに統合し、交通安全記述解析タスクのために訓練する。 このタスクでは、複数のカメラと視点から、詳細な、きめ細かいイベントの記述を生成する必要がある。 結果として得られるモデルは軽量で、効率的なトレーニングと推論を確実にします。

関連論文リスト

• VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos [58.765796160750504]
  VideoGLaMMは、ユーザが提供するテキスト入力に基づいて、ビデオの細かいピクセルレベルのグラウンド化を行うための新しいモデルである。 このアーキテクチャは、ビデオコンテンツの空間的要素と時間的要素の両方をテキスト命令と同期させるよう訓練されている。 実験の結果、我々のモデルは3つのタスクすべてで既存のアプローチより一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-07T17:59:27Z)
• MMFuser: Multimodal Multi-Layer Feature Fuser for Fine-Grained Vision-Language Understanding [39.68348330596116]
  視覚変換器(ViTs)の深部・浅部機能を効率的に統合する,シンプルで効果的な多層機能フェーザであるモデル名を提案する。 具体的には、クエリとしてセマンティックに整合した深い機能を活用して、浅い機能から欠落した詳細を動的に抽出する。 modelnameachieveは、ビジュアル表現とベンチマークのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-15T17:55:22Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• DocKylin: A Large Multimodal Model for Visual Document Understanding with Efficient Visual Slimming [33.40963475653868]
  DocKylinは文書中心のMLLMで、ピクセルレベルとトークンレベルの両方でビジュアルコンテンツをスリム化する。 本稿では,ピクセルレベルのスリム化を行うためのAPSプリプロセッシングモジュールを提案する。 また,トークンレベルスライミングを行う新しい動的トークンスライミング(DTS)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-27T11:28:36Z)
• HRVDA: High-Resolution Visual Document Assistant [32.51417315241559]
  本稿では,MLLMと視覚文書理解のギャップを埋めるための高解像度ビジュアルドキュメントアシスタント(HRVDA)を提案する。 HRVDAはコンテンツフィルタリング機構と命令フィルタリングモジュールを使用して、コンテンツに依存しないビジュアルトークンと命令に依存しないビジュアルトークンをフィルタリングする。 本モデルは,複数の文書理解データセットにまたがる最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-10T11:10:50Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Dense Video Object Captioning from Disjoint Supervision [77.47084982558101]
  本稿では,高密度ビデオオブジェクトキャプションのための新しいタスクとモデルを提案する。 このタスクは、ビデオにおける空間的および時間的局所化を統一する。 我々は、この新しいタスクの強力なベースラインにおいて、我々のモデルがどのように改善されているかを示す。
  論文  参考訳（メタデータ） (2023-06-20T17:57:23Z)
• MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks [59.09343552273045]
  本稿では,これらの異なる視覚言語タスクの協調学習に驚くほど有効であるマルチモーダルタスクのためのデコーダのみのモデルを提案する。 これらの多様な目的の合同学習は単純で効果的であり、これらのタスク間でのモデルの重量共有を最大化することを示した。 我々のモデルは,画像テキストとテキスト画像検索,ビデオ質問応答,オープン語彙検出タスクにおける技術の現状を達成し,より大きく,より広範囲に訓練された基礎モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-03-29T16:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。