論文の概要: GigaChat Audio: Time-aware Large Audio Language Model
- arxiv url: http://arxiv.org/abs/2607.10387v1
- Date: Sat, 11 Jul 2026 16:34:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.409086
- Title: GigaChat Audio: Time-aware Large Audio Language Model
- Title（参考訳）: GigaChat Audio: タイムアウェアな大型オーディオ言語モデル
- Abstract要約: 最大120分以上の入力を明示的にタイムスタンプで解答する時間認識型オーディオLLMを提案する。
提案手法は,カスケードパイプラインからの大規模合成監督を用いて,周期的時間マーカーと連続的な音声トークンをインターリーブする。
- 参考スコア（独自算出の注目度）: 65.51589021112385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal grounding in long recordings remains challenging for audio-conditioned LLMs. We present a time-aware audio LLM that answers questions with explicit timestamps over up to 120 minutes of input. Our approach interleaves periodic time markers with continuous audio tokens using large-scale synthetic supervision from a cascaded pipeline. Our model achieves strong temporal-grounding accuracy on short and long benchmarks and supports time-anchored fragment descriptions and summaries. Extensive ablations examine how time representation, marker frequency, tokenization, and duration-mixture design affect accuracy and computational cost. We release model weights and datasets to support further research on time-aware audio understanding, available at https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B.
- Abstract（参考訳）: 長時間録音における時間的接地は、音声条件のLLMでは依然として困難である。
最大120分以上の入力を明示的にタイムスタンプで解答する時間認識型オーディオLLMを提案する。
提案手法は,カスケードパイプラインからの大規模合成監督を用いて,周期的時間マーカーと連続的な音声トークンをインターリーブする。
提案モデルでは,短時間および長時間のベンチマークで時間的グラウンドの精度が向上し,時間的断片記述と要約をサポートする。
時間表現、マーカー周波数、トークン化、時間混合設計が精度と計算コストにどのように影響するかを徹底的に検討する。
タイムアウェアな音声理解のさらなる研究を支援するためのモデルウェイトとデータセットを、https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8Bで公開しています。
関連論文リスト
- TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models [58.80225070159013]
大型オーディオ言語モデル(LALM)は、クリップレベルで音声を記述するが、イベント、スピーカー、音声にタイムスタンプを割り当てることはできない。
我々は、音声、音声、音楽のタイムスタンプタスクを処理する最初の統合モデルであるTEMPOを提案する。
論文 参考訳（メタデータ） (2026-08-30T19:49:21Z) - MOSS-Audio Technical Report [80.01042232102883]
MOSS-Audioは、音声、環境音、音楽理解のための統一された音声言語モデルである。
音声キャプション、タイムアウェアな質問応答、タイムスタンプによる書き起こし、音声による推論をサポートする。
論文 参考訳（メタデータ） (2026-06-01T07:19:22Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt [26.402383197553778]
本稿では,時空間知覚の微粒化のためのTimePro-RLフレームワークを開発するために,音声側時間プロンプトを提案し,強化学習を活用する。
具体的には、タイムスタンプを埋め込みとしてエンコードし、時間座標として音声特徴系列にインターリーブし、モデルを刺激する。
実験により、TimePro-RLは、オーディオグラウンド、音声イベント検出、高密度オーディオキャプションなど、様々な時間的タスクにおいて、大きなパフォーマンス向上を達成することが示された。
論文 参考訳（メタデータ） (2026-04-15T10:50:29Z) - LongAudio-RAG: Event-Grounded Question Answering over Multi-Hour Long Audio [6.935416517354558]
LongAudio Generation (LARAG) は、Large Language Model (LLM) が取得した、タイムスタンプ付き音響イベント検出において出力する基盤となるフレームワークである。
ハイブリッドエッジクラウド環境にデプロイすることで,このアプローチの実践性を実証する。
イベントレベルの構造的検索は,バニラ検索よりも精度が向上することが示された。
論文 参考訳（メタデータ） (2026-02-16T10:15:22Z) - Frame-Level Internal Tool Use for Temporal Grounding in Audio LMs [48.50855715191533]
大規模な音声言語モデルは、複雑な音声理解タスクにますます使われている。
彼らは、単語アライメントや話者ダイアリゼーションのような正確な時間的根拠を必要とする時間的タスクに苦労する。
本稿では,フレームレベルの内部ツール使用法を提案する。これは,内部の音声表現を用いて時間的グラウンドを直接行うように音声LMを訓練する手法である。
論文 参考訳（メタデータ） (2026-02-10T19:19:52Z) - AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。
我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。
その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-10-08T17:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。