論文の概要: LEAP: Learned Block-wise Evidence Retrieval for Long Audio-Video Perception

• arxiv url: http://arxiv.org/abs/2609.39938v1
• Date: Wed, 30 Sep 2026 15:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.969029
• Title: LEAP: Learned Block-wise Evidence Retrieval for Long Audio-Video Perception
• Title（参考訳）: LEAP:Long Audio-Video Perceptionのためのブロックワイド・エビデンス検索
• Abstract要約: LEAPは,1つのコンテキストに記録全体を配置することなく,モデルが自身の証拠を検索するフレームワークである。 証拠の局所化を推論から切り離すことにより,提案フレームワークは事前計算されたテキストに対して,候補の時間的ウィンドウをローカライズすることができる。 LEAPはQwen3-Omni-30B-A3Bベースラインを4.5-16.8%改善し、第2のOmni-modalバックボーンであるMini-o 4.5に転送する。
• 参考スコア（独自算出の注目度）: 46.46693933516925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hour-scale audio-visual question answering is constrained by a context dilemma: dense whole-recording encoding rapidly exhausts context limits, whereas uniform temporal compression severely dilutes fine-grained acoustic and visual evidence. We introduce LEAP, a framework where the model retrieves its own evidence without placing the whole recording in one context. LEAP divides a recording into fixed-duration blocks, applying a lightweight localization pass to each block to score short candidate windows. The highest-ranked windows are pooled and re-encoded in a single bounded answer pass. Consequently, the answer input and peak context remain independent of the recording duration. By decoupling evidence localization from reasoning, our framework can localize candidate temporal windows over pre-computed transcripts without decoding media frames, while preserving fine-grained visual and non-speech evidence by routing the final answering pass over raw audio-visual streams. LEAP trains both stages: a localization LoRA improves the selected windows, and an answer LoRA improves the answers read from the same windows. The block grid natively supports causal queries, enabling LEAP to support streaming inference without streaming-specific training. Across several AVQA benchmarks, LEAP improves over the Qwen3-Omni-30B-A3B baseline by 4.5-16.8%, and transfers to a second omni-modal backbone, MiniCPM-o 4.5, surpassing its published results by 3.1-13.0%.
• Abstract（参考訳）: 濃密な全録音符号化は、文脈限界を急速に消費する一方、一様時間圧縮は、きめ細かな音響的および視覚的証拠を著しく希薄にする。 LEAPは,1つのコンテキストに記録全体を配置することなく,モデルが自身の証拠を検索するフレームワークである。 LEAPはレコードを固定順序ブロックに分割し、各ブロックに軽量なローカライゼーションパスを適用して短い候補ウィンドウをスコアする。 最上位のウィンドウはプールされ、1つの有界応答パスに再エンコードされる。 これにより、応答入力とピークコンテキストは記録期間に依存しないままとなる。 根拠の局所化を推論から切り離すことにより,本フレームワークはメディアフレームを復号することなく,音声・視覚ストリーム上で最終応答パスをルーティングすることで,詳細な視覚的・非音声的証拠を保存しながら,事前計算した文字起こしに対して時間的ウィンドウをローカライズすることができる。 ローカライゼーションLoRAは選択したウィンドウを改善し、答えLoRAは同じウィンドウから読み取った回答を改善する。 ブロックグリッドは因果クエリをネイティブにサポートし、LEAPはストリーミング固有のトレーニングなしでストリーミング推論をサポートする。 いくつかのAVQAベンチマークで、LEAPはQwen3-Omni-30B-A3Bベースラインを4.5-16.8%改善し、第2のOmni-modalバックボーンであるMiniCPM-o 4.5に転送し、結果の3.1-13.0%を上回った。

関連論文リスト

• Listen, Reason, and Segment: Aligning LALMs with Editorial Judgment for Media Chapterization [58.34381853842135]
  LALM(Large Audio Language Models)は、標準化されたベンチマークを急速に進歩させたが、実際的なメディア、キュレーション、アーカイブインデックス、コンテンツ配信への展開は、ほとんど実現されていない。 連続的な音声ストリームを主題的に一貫性のあるチャプタに分割するタスクである自動音声チャプタライゼーションを同定する。 このタスクのために、エンドツーエンドのLALMを調整するためのフレームワークであるAudioChapsを紹介します。
  論文  参考訳（メタデータ） (2026-08-17T13:14:01Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
  オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。 LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。 まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。 第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
  論文  参考訳（メタデータ） (2026-06-05T07:29:20Z)
• Diffusion Large Language Models for Visual Speech Recognition [56.81307584718608]
  本稿では,最初の拡散大言語モデル(DLLM)に基づく視覚音声認識(VSR)フレームワークを提案する。 DLLM-VSRは早期に高信頼位置をコミットし、コミットトークンを双方向コンテキストとして、曖昧なトークンを洗練させる。 我々は、ビデオ長を用いて、可塑性転写長仮説を構築する長さ誘導型候補復号法を開発した。 提案手法はラベル付きトレーニングデータのみを用いて, LRS3 上で19.5%の最先端 WER を実現する。
  論文  参考訳（メタデータ） (2026-05-27T13:22:08Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering [13.370338205427911]
  長文のビデオ質問応答には、時間的コンテキストの拡張に対する推論が必要である。 類似性ベースのセレクタは高速だが、合成クエリを1つの高密度ベクトルに分解する。 このギャップを埋めるトレーニング不要のフレームワークであるHiMuを紹介します。
  論文  参考訳（メタデータ） (2026-03-19T07:11:53Z)
• LongAudio-RAG: Event-Grounded Question Answering over Multi-Hour Long Audio [6.935416517354558]
  LongAudio Generation (LARAG) は、Large Language Model (LLM) が取得した、タイムスタンプ付き音響イベント検出において出力する基盤となるフレームワークである。 ハイブリッドエッジクラウド環境にデプロイすることで,このアプローチの実践性を実証する。 イベントレベルの構造的検索は,バニラ検索よりも精度が向上することが示された。
  論文  参考訳（メタデータ） (2026-02-16T10:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。