論文の概要: HiCM$^2$: Hierarchical Compact Memory Modeling for Dense Video Captioning

• arxiv url: http://arxiv.org/abs/2412.14585v1
• Date: Thu, 19 Dec 2024 07:06:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:23.380713
• Title: HiCM$^2$: Hierarchical Compact Memory Modeling for Dense Video Captioning
• Title（参考訳）: HiCM$^2$:Dense Video Captioningのための階層型コンパクトメモリモデリング
• Authors: Minkuk Kim, Hyeon Bae Kim, Jinyoung Moon, Jinwoo Choi, Seong Tae Kim,
• Abstract要約: 密度ビデオキャプション(DVC)への関心が高まっている。 いくつかの研究は、事前学習や外部記憶など、事前知識を活用する上での課題を強調している。 本稿では,人間指向階層型コンパクトメモリの事前知識を活用するモデルを提案する。
• 参考スコア（独自算出の注目度）: 9.899703354116962
• License:
• Abstract: With the growing demand for solutions to real-world video challenges, interest in dense video captioning (DVC) has been on the rise. DVC involves the automatic captioning and localization of untrimmed videos. Several studies highlight the challenges of DVC and introduce improved methods utilizing prior knowledge, such as pre-training and external memory. In this research, we propose a model that leverages the prior knowledge of human-oriented hierarchical compact memory inspired by human memory hierarchy and cognition. To mimic human-like memory recall, we construct a hierarchical memory and a hierarchical memory reading module. We build an efficient hierarchical compact memory by employing clustering of memory events and summarization using large language models. Comparative experiments demonstrate that this hierarchical memory recall process improves the performance of DVC by achieving state-of-the-art performance on YouCook2 and ViTT datasets.
• Abstract（参考訳）: 現実世界のビデオの課題に対するソリューションの需要が高まる中、高密度ビデオキャプション(DVC)への関心が高まっている。 DVCは、非トリミングビデオの自動キャプションとローカライゼーションを含む。 いくつかの研究は、DVCの課題を強調し、事前学習や外部記憶など、事前知識を活用した改善手法を導入する。 本研究では,人間の記憶階層と認知にインスパイアされた,人間指向の階層型メモリの事前知識を活用するモデルを提案する。 ヒューマンライクなメモリリコールを模倣するため,階層型メモリと階層型メモリ読み取りモジュールを構築した。 メモリイベントのクラスタリングと,大規模言語モデルを用いた要約を利用して,効率的な階層型メモリを構築する。 比較実験により、この階層的メモリリコールプロセスは、YouCook2およびViTTデータセット上で最先端のパフォーマンスを達成することにより、DVCの性能を向上させることが示された。

関連論文リスト

• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• VideoPatchCore: An Effective Method to Memorize Normality for Video Anomaly Detection [1.9384004397336387]
  ビデオ異常検出(VAD)は、コンピュータビジョン内の映像分析と監視において重要な課題である。 本稿では,VideoPatchCore と呼ばれる VAD の効率的なメモリ手法を提案する。 提案手法では,メモリ最適化を優先する構造を導入し,映像データの特徴に合わせて3種類のメモリを設定する。
  論文  参考訳（メタデータ） (2024-09-24T16:38:41Z)
• Hierarchical Augmentation and Distillation for Class Incremental Audio-Visual Video Recognition [62.85802939587308]
  本稿では,CIAVVR(Class Incremental Audio-Visual Video Recognition)の探索に焦点をあてる。 記憶されたデータと過去のクラスの学習モデルの両方が歴史的知識を含んでいるため、過去のデータ知識と過去のモデル知識をキャプチャして破滅的な忘れを防げるかが課題である。 本稿では,階層拡張モジュール (HAM) と階層拡張モジュール (HDM) を組み合わせた階層拡張蒸留 (HAD) を導入し,データとモデルの階層構造を効率的に活用する。
  論文  参考訳（メタデータ） (2024-01-11T23:00:24Z)
• Empowering Working Memory for Large Language Model Agents [9.83467478231344]
  本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。 エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。 このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-12-22T05:59:00Z)
• Encode-Store-Retrieve: Augmenting Human Memory through Language-Encoded Egocentric Perception [19.627636189321393]
  メモリ拡張のための有望な道は、エゴセントリックなビデオをキャプチャして保存するために、拡張現実のヘッドマウントディスプレイを使用することである。 現在の技術では、大量のデータを効率的にエンコードして保存する能力が欠けている。 本稿では,ビデオデータの自然言語エンコーディングを活用し,ベクトルデータベースに格納するメモリ拡張エージェントを提案する。
  論文  参考訳（メタデータ） (2023-08-10T18:43:44Z)
• Just a Glimpse: Rethinking Temporal Information for Video Continual Learning [58.7097258722291]
  個別フレームと単一フレームに基づく効果的なビデオ連続学習のための新しい再生機構を提案する。 極端な記憶の制約の下では、ビデオの多様性は時間的情報よりも重要な役割を果たす。 提案手法は最先端性能を実現し,従来の最先端性能を最大21.49%向上させる。
  論文  参考訳（メタデータ） (2023-05-28T19:14:25Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model [137.50614198301733]
  機能記憶を統一した長ビデオのためのビデオオブジェクトセグメンテーションアーキテクチャであるXMemを提案する。 独立して深く接続された複数の機能記憶を組み込んだアーキテクチャを開発する。 XMemは、ロングビデオデータセットにおける最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2022-07-14T17:59:37Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Hierarchical Memory Matching Network for Video Object Segmentation [38.24999776705497]
  本稿では,時間的スムーズさを活用しながら,複数スケールのメモリ実行を可能にする2つの高度なメモリ読み取りモジュールを提案する。 まず,非局所的な高密度メモリ読み出しを代替するガイド付きメモリマッチングモジュールを提案する。 階層型メモリマッチング方式を導入し、大小のメモリを粗大のメモリで読み取るトップkガイド型メモリマッチングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-09-23T14:36:43Z)
• MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning [128.36951818335046]
  MART(Memory-Augmented Recurrent Transformer)と呼ばれる新しい手法を提案する。 MARTはメモリモジュールを使用してトランスフォーマーアーキテクチャを拡張する。 MARTはベースライン法よりもコヒーレントで繰り返しない段落を生成する。
  論文  参考訳（メタデータ） (2020-05-11T20:01:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。