論文の概要: ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models

• arxiv url: http://arxiv.org/abs/2611.04480v1
• Date: Tue, 03 Nov 2026 08:12:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:47:57.089866
• Title: ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models
• Title（参考訳）: ReListen:凍結音声言語モデルを用いた時間長オーディオにおける学習不要エビデンス・ローカライゼーション
• Abstract要約: ReListenは,凍結した音声言語モデルが答える前に独自の証拠を発見できる学習自由な手法である。 Jevスタイルのスキャンでは、各20秒のウィンドウを、その質問に答える確率でスコアし、最高スコアの瞬間から回答する。
• 参考スコア（独自算出の注目度）: 34.94467140023976
• License:
• Abstract: Audio language models are meant to answer questions from the audio itself, but an hour-long recording rarely fits in their context, and the answer often depends on a few seconds of it. Transcribing the recording first makes it fit but discards sounds and voices, while systems that return to the audio must be trained for this behavior. We propose ReListen, a training-free method in which a frozen audio language model finds its own evidence before answering. In a Jev-style scan, the model scores each 20-second window by the probability that it helps answer the question, and it then answers from the highest-scoring minute. This minute overlaps the annotated evidence far more often than transcript retrieval, for 88.5% of VoiceGiraffe questions. Without any change, the same scan also grounds events on LAT-Bench as well as a model trained for temporal grounding. Answering from it matches or exceeds hearing the whole recording with a small fraction of the audio, and on VoiceGiraffe it exceeds a transcript of the whole recording by 9.2 points. The selected evidence is also worth hearing rather than reading. Given the same excerpts, reading their transcript matches listening on speech content, but listening is clearly more accurate on questions about sounds and voices. Moreover, ReListen answers faster than every transcript-based system, and its memory stays constant even for recordings too long to hear whole on one GPU. Therefore, a frozen audio language model can search hour-long recordings by itself, without a transcript or additional training.
• Abstract（参考訳）: 音声言語モデルは、音声自体からの質問に答えるためのものだが、1時間の録音が文脈に適合することは滅多になく、答えは数秒に依存することが多い。 録音を最初に書き起こすと、音や声は捨てられるが、オーディオに戻るシステムは、この動作のために訓練される必要がある。 ReListenは,凍結した音声言語モデルが答える前に独自の証拠を発見できる学習自由な手法である。 Jevスタイルのスキャンでは、各20秒のウィンドウを、その質問に答える確率でスコアし、最高スコアの瞬間から回答する。 この瞬間、VoiceGiraffeの88.5%の質問において、注釈付き証拠は転写検索よりもはるかに頻繁に重複している。 変更がなければ、同じスキャンがLAT-Benchのイベントと、時間的接地のためにトレーニングされたモデルにも基づきます。 アンサーは全録音を音声のごく一部で聴くか超え、VoiceGiraffeでは全録音の書き起こしを9.2ポイント上回る。 選択された証拠は、読むよりも聞く価値がある。 同じ抜粋で、音声コンテンツを聴くスクリプティングマッチを読むことはできるが、音声や音声に関する質問では、聞き取り方が明らかに正確である。 さらに、ReListenはすべての書き起こしベースのシステムよりも高速に応答し、そのメモリは1つのGPUで全体を聴くには長すぎる記録でも一定である。 そのため、フリーズオーディオ言語モデルでは、書き起こしや追加の訓練なしに、単独で1時間の録音を検索することができる。

関連論文リスト

• AudioScorer: Learning Question-Aware Token Relevance for Large Audio Language Models [3.1744658275045103]
  本稿では,ユーザの質問に応じて音声トークンをスコアする軽量モデルであるAudioScorerを提案する。 冷凍されたLALMの解答段階の正当性の下で、オーディオトークンのランク付けを蒸留することによって訓練される。 AudioScorerは、10のセマンティックタスクとアコースティックタスクのうち7つで10%のトークン保持でベストまたはタイトベストの結果を達成する。
  論文  参考訳（メタデータ） (2026-10-19T12:14:12Z)
• GigaChat Audio: Time-aware Large Audio Language Model [65.51589021112385]
  最大120分以上の入力を明示的にタイムスタンプで解答する時間認識型オーディオLLMを提案する。 提案手法は,カスケードパイプラインからの大規模合成監督を用いて,周期的時間マーカーと連続的な音声トークンをインターリーブする。
  論文  参考訳（メタデータ） (2026-07-11T16:34:25Z)
• LongAudio-RAG: Event-Grounded Question Answering over Multi-Hour Long Audio [6.935416517354558]
  LongAudio Generation (LARAG) は、Large Language Model (LLM) が取得した、タイムスタンプ付き音響イベント検出において出力する基盤となるフレームワークである。 ハイブリッドエッジクラウド環境にデプロイすることで,このアプローチの実践性を実証する。 イベントレベルの構造的検索は,バニラ検索よりも精度が向上することが示された。
  論文  参考訳（メタデータ） (2026-02-16T10:15:22Z)
• Enabling automatic transcription of child-centered audio recordings from real-world environments [10.369750912567714]
  本稿では,現代のASRシステムで確実に書き起こせる長音素音声における発話を自動的に検出する手法を提案する。 その結果,データセット中の全音声の13%を翻訳すると,平均単語誤り率0%,平均単語誤り率18%が得られることがわかった。
  論文  参考訳（メタデータ） (2025-06-13T13:00:57Z)
• TACOS: Temporally-aligned Audio CaptiOnS for Language-Audio Pretraining [3.5570874721859016]
  音声録音におけるテキスト記述と時間領域の整合を学習するフレームワイドコントラスト学習手法を提案する。 我々のモデルは,AudioSet Strongベンチマークで評価した場合,グローバルキャプションでのみ訓練されたモデルと比較して,時間的テキスト・オーディオアライメント能力が優れている。
  論文  参考訳（メタデータ） (2025-05-12T14:30:39Z)
• Long-Form Speech Generation with Spoken Language Models [64.29591880693468]
  テキストなしの音声言語モデルは、数十秒を超える可読な音声を生成するのに苦労する。 我々は、長音の音声から学習し、サンプルする最初の音声言語モデルであるSpeechSSMを導出する。 SpeechSSMは線形時間列モデリングの最近の進歩を活用し、コヒーレンスと効率性において現在のトランスフォーマー音声LMを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-12-24T18:56:46Z)
• Distilling an End-to-End Voice Assistant Without Instruction Training Data [53.524071162124464]
  Distilled Voice Assistant (DiVA)は、質問応答、分類、翻訳を一般化する。 Qwen 2 Audioのような最先端のモデルと比較すると,DiVAはユーザの好みによく適合し,72%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-10-03T17:04:48Z)
• TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head Translation [54.155138561698514]
  音声から音声への直接翻訳は、自己教師付き学習から得られる離散単位を導入することにより、高品質な結果が得られる。 既存の方法は常にカスケードに依存し、音声とテキストの両方を通して合成し、遅延やカスケードエラーを引き起こす。 本稿では,音声-視覚音声を他の言語で直接音声-視覚音声に翻訳できる,頭部翻訳モデルである textbfTransFace を提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。