論文の概要: Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos

• arxiv url: http://arxiv.org/abs/2607.16107v1
• Date: Fri, 17 Jul 2026 16:41:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.908062
• Title: Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos
• Title（参考訳）: オーディオ・ビジュアル・フラミンゴ:長く複雑なビデオのためのオープン・オーディオ・ビジュアル・インテリジェンス
• Abstract要約: 本稿では,AV-LLM(Audio-Visual Flamingo)について述べる。 主にショートクリップに焦点を当てた以前のAV-LLMとは異なり、AV-Flamingoは、長く複雑な実世界(オーディオ・ビジュアル)ビデオの理解と推論のために設計されている。
• 参考スコア（独自算出の注目度）: 105.65597736594707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Audio-Visual Flamingo (AV-Flamingo), a fully open state-of-the-art audio-visual large language model (AV-LLM) for joint understanding and reasoning over audio, images, and long-form videos. Unlike prior AV-LLMs that primarily focus on short clips, AV-Flamingo is designed for understanding and reasoning over long and complex real-world (audio-visual) videos. To support this, we make three key contributions: (i) Audio-Visual-Skills, a large-scale collection of real-world videos with ~7M caption and question-answer training instances designed to emphasize temporal, compositional, and cross-modal audio-visual reasoning; (ii) a novel three-stage curriculum that progressively trains the model from short-range perception to long-horizon multi-event reasoning; and (iii) Temporal Audio-Visual Interleaved Chain-of-Thought, a reasoning framework that explicitly grounds intermediate reasoning steps to timestamps in long audio-visual streams, improving temporal alignment and interpretability. Extensive experiments across 15+ audio-visual, omni-modal, audio, and vision benchmarks show that AV-Flamingo outperforms similarly sized open models by clear margins and remains highly competitive with, and in some cases surpasses, much larger open-weight and closed models, particularly on long and complex real-world audio-visual understanding and reasoning tasks. Beyond benchmark performance, AV-Flamingo exhibits strong real-world utility and transfers well to unseen tasks, highlighting its robustness and generalization ability.
• Abstract（参考訳）: 本稿では, 音声, 画像, 長大なビデオに対する共同理解と推論のための, 完全にオープンな音声視覚大言語モデルであるAudio-Visual Flamingo(AV-Flamingo)を紹介する。 主にショートクリップに焦点を当てた以前のAV-LLMとは異なり、AV-Flamingoは、長く複雑な実世界(オーディオ・ビジュアル)ビデオの理解と推論のために設計されている。 これをサポートするために、私たちは3つの重要な貢献をしています。 i) 時間的・構成的・クロスモーダルな視覚的推論を強調するように設計された7Mキャプションと質問応答訓練インスタンスを備えた大規模な実世界のビデオコレクションであるAudio-Visual-Skills (二)短距離認識から長軸多点推論まで、モデルを段階的に訓練する新しい三段階カリキュラム (3)時間的オーディオ・ビジュアル・インターリーブド・チェーン・オブ・ワットは、長時間のオーディオ・ビジュアル・ストリームにおけるタイムスタンプへの中間的推論ステップを明確化し、時間的アライメントと解釈可能性を改善するための推論フレームワークである。 15以上のオーディオヴィジュアル、オムニモダル、オーディオ、ヴィジュアルのベンチマークによる大規模な実験では、AV-Flamingoは同様に大きなオープンモデルをクリアマージンで上回り、競争力が高く、場合によってはより大きなオープンウェイトとクローズドモデル、特に長く複雑な実世界のオーディオヴィジュアル理解と推論タスクを上回っている。 AV-Flamingoは、ベンチマークパフォーマンス以外にも、実世界の強力なユーティリティを示し、目に見えないタスクにうまく移行し、その堅牢性と一般化能力を強調している。

関連論文リスト

• AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression [22.818321106501788]
  AVOCは、Omni-modal Large Language Modelsにおける長文音声ビデオ理解のためのフレームワークである。 AVOCは、ロングフォームオーディオビデオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-06-23T08:06:58Z)
• Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music [112.20887496511165]
  AF-NextはAudio Flamingoシリーズの次世代かつ最も有能な大型オーディオ言語モデルである。 言語、環境音、音楽に対する理解と推論を促進するように設計されている。 AF-Nextは、プレトレーニング、ミッドトレーニング、ポストトレーニングの段階にまたがるカリキュラムベースの戦略を使って訓練されている。 すべてのデータ、コード、メソッドに加えて、AF-Next-Instruct、AF-Next-Think、AF-Next-Captionerを含む3種類のAF-Nextをオープンソースにしています。
  論文  参考訳（メタデータ） (2026-04-13T02:11:56Z)
• LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
  このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。 我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。 オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
  論文  参考訳（メタデータ） (2026-03-19T17:58:13Z)
• Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning [44.518249924335045]
  Perception Audiovisual(PE-AV)は、大規模コントラスト学習で訓練された音声およびビデオ理解のためのエンコーダの新たなファミリーである。 PE上に構築されたPE-AVは、オーディオへの表現の拡張にいくつかの重要な貢献を行い、オーディオ・ビデオ、オーディオ・テキスト、ビデオ・テキスト・モダリティ間の共同埋め込みをサポートする。
  論文  参考訳（メタデータ） (2025-12-22T18:59:07Z)
• AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
  AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。 我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。 その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-10-08T17:50:16Z)
• Audio Flamingo 3: Advancing Audio Intelligence with Fully Open Large Audio Language Models [73.06287813212936]
  本稿では,音声・音声・音楽間の推論・理解を推し進める,完全にオープンなSOTA(Audio Flamingo 3/Audio Flamingo 3/Audio Flamingo 3/Audio Flamingo 3)について述べる。 AF3 は AF-Whisper という,音声,音声,音楽の3つのモードにまたがる共同表現学習の新たな戦略を用いて訓練された統一オーディオエンコーダを導入している。 20以上の(長い)オーディオ理解と推論ベンチマークで新たなSOTA結果を実現し、より大規模なデータセットでトレーニングされたオープンソースモデルとクローズドソースモデルの両方を上回っている。
  論文  参考訳（メタデータ） (2025-07-10T19:40:21Z)
• Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models [25.660343393359565]
  本稿では,マルチモーダル大言語モデル(LLM)のための微細な音声-視覚共同表現(FAVOR)学習フレームワークを提案する。 FAVORは、音声入力ストリーム内の音声および音声イベントと、視覚入力ストリーム内の画像またはビデオを、フレームレベルで同時に知覚する。 FAVORのインタラクティブなデモはhttps://github.com/BriansIDP/AudioVisualLLM.gitで公開されている。
  論文  参考訳（メタデータ） (2023-10-09T17:00:20Z)
• AudioVisual Video Summarization [103.47766795086206]
  ビデオ要約では、既存のアプローチは音声情報を無視しながら視覚情報を利用するだけだ。 本稿では,映像要約作業における音声情報と視覚情報を協調的に活用し,これを実現するためにAVRN(AudioVisual Recurrent Network)を開発することを提案する。
  論文  参考訳（メタデータ） (2021-05-17T08:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。