論文の概要: HELIX: Scaling Raw Audio Understanding with Hybrid Mamba-Attention Beyond the Quadratic Limit

• arxiv url: http://arxiv.org/abs/2603.21316v1
• Date: Sun, 22 Mar 2026 16:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.350339
• Title: HELIX: Scaling Raw Audio Understanding with Hybrid Mamba-Attention Beyond the Quadratic Limit
• Title（参考訳）: HELIX:2次限界を超えたハイブリッドマンバアテンションによる生音声理解のスケールアップ
• Abstract要約: 純粋なMambaと比較するフレームワークであるHELIXと、単一注意ボトルネックを持つ最小限のハイブリッドについて紹介する。 すべてのモデルは、アーキテクチャ効果を分離するために約8.3Mパラメータでパラメータマッチングされる。 好みの入力表現は、バックボーンに依存しており、注意は短い静止音声の性能を損なうが、長いシーケンス長では重要となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio representation learning typically evaluates design choices such as input frontend, sequence backbone, and sequence length in isolation. We show that these axes are coupled, and conclusions from one setting often do not transfer to others. We introduce HELIX, a controlled framework comparing pure Mamba, pure attention, and a minimal hybrid with a single attention bottleneck. All models are parameter-matched at about 8.3M parameters to isolate architectural effects. Across six datasets, we find that the preferred input representation depends on the backbone, and that attention hurts performance on short, stationary audio but becomes important at longer sequence lengths. On a 5-minute speaker identification task with 30,000 tokens, pure attention fails with out-of-memory errors, while HELIX closes an 11.5-point gap over pure Mamba.
• Abstract（参考訳）: 音声表現学習は通常、入力フロントエンド、シーケンスバックボーン、シーケンス長さなどの設計選択を分離して評価する。 これらの軸が結合していることを示し、ある設定からの結論は、しばしば他の設定に転送されないことを示す。 HELIXは純粋なMambaを比較したコントロールフレームワークであり、純粋な注意と、単一の注意ボトルネックを持つ最小限のハイブリッドである。 すべてのモデルは、アーキテクチャ効果を分離するために約8.3Mパラメータでパラメータマッチングされる。 6つのデータセットにまたがって、好みの入力表現はバックボーンに依存し、注意は短い静止音声の性能を損なうが、長いシーケンス長では重要となる。 30,000のトークンを持つ5分間の話者識別タスクでは、純粋な注意はメモリ外エラーで失敗し、HELIXは純粋なMambaよりも11.5ポイントのギャップを閉じる。

関連論文リスト

• Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models [18.902147033940434]
  Omni-Pruneは、トレーニング不要で、クエリ対応のオーディオ-ビジュアルトークンプルーニングフレームワークである。 タスク関連のクロスモーダルな証拠を保持しながら、両方のモダリティから冗長性を取り除く。 最大3.25倍のプリフィルスピードアップと1.3倍のメモリ削減を実現し、フルモデル性能の99%を維持できる。
  論文  参考訳（メタデータ） (2026-07-26T03:51:39Z)
• A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models [64.68800440221138]
  大規模音声言語モデル(LALM)は、様々な音声理解タスクにおいて高いパフォーマンスを達成するが、時間的推論に苦慮する。 メカニスティック解析のために設計された3つの基礎的タスクに対して,1,657問のベンチマークを導入する。 拡張性に対する注意の重み付けを比較すると、音声トークン間での注意の再分配は、音声の注意を増大させるよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2026-06-16T01:57:56Z)
• TraceAV-Bench: Benchmarking Multi-Hop Trajectory Reasoning over Long Audio-Visual Videos [13.9567665031159]
  実世界の音声・視覚的理解には、疎く、時間的に分散し、視覚と聴覚の流れにまたがる証拠の連鎖が必要である。 TraceAV-Benchは、長時間の視覚的軌跡とマルチモーダル幻覚の堅牢性に対して、マルチホップ推論を共同で評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-05-08T11:06:43Z)
• LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
  このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。 我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。 オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
  論文  参考訳（メタデータ） (2026-03-19T17:58:13Z)
• Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference [15.466168180222164]
  我々は,長文推論用に設計された軽量かつ高精度なスパースアテンション機構であるAdamasを紹介する。 実験の結果、アダガスは64段階の予算しか持たず、128倍の性能で、従来のSOTA(State-of-the-art)の手法よりも最大8倍高い空間性をサポートすることがわかった。
  論文  参考訳（メタデータ） (2025-10-21T08:44:47Z)
• AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
  AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。 我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。 その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-10-08T17:50:16Z)
• Pay More Attention To Audio: Mitigating Imbalance of Cross-Modal Attention in Large Audio Language Models [60.857389526958485]
  MATAはLALMを動的にプッシュして、自己保持機構内で textbfMore textbfAttention textbfTo textbfAudioトークンを支払います。 MMAUとMMARベンチマークの実験により、MATAの有効性が確認され、一貫した性能が向上した。
  論文  参考訳（メタデータ） (2025-09-23T09:02:15Z)
• SCOUT: Toward Sub-Quadratic Attention via Segment Compression for Optimized Utility in Transformers [15.142822497807236]
  固定サイズセグメント内でトークンを局所的に圧縮し,これらの圧縮表現にのみ注目するハイブリッドアーキテクチャであるSCOUTを提案する。 SCOUTは、計算コストとメモリコストを大幅に削減しつつ、完全な注意の表現力を保っている。 SCOUTの計算とメモリ効率を解析し、長文言語モデリングおよび推論タスクで経験的に評価する。
  論文  参考訳（メタデータ） (2025-08-31T17:08:33Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling [70.94320930424331]
  選択状態空間モデル(SSM)であるMambaとSliding Window Attention(SWA)を組み合わせた単純なハイブリッドアーキテクチャであるSambaを提案する。 Sambaは特定のシーケンスを選択的にリカレントなシークレット状態に圧縮し、最近の記憶をアテンション機構で正確にリコールする能力を維持している。 私たちはSambaを3.8Bのパラメータに拡張し、3.2Tのトレーニングトークンを使用し、様々なベンチマークで最先端モデルよりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-11T17:50:51Z)
• HyperAttention: Long-context Attention in Near-Linear Time [78.33061530066185]
  本稿では,長期的文脈の複雑さの増大に伴う計算課題に対処するため,HyperAttentionという近似的な注意機構を提案する。 実証的には、大規模なエントリを特定するためにLocality Sensitive Hashing(LSH)を使用して、HyperAttentionは既存のメソッドよりも優れています。 各種長文長データセットにおけるHyperAttentionの実証的性能を検証した。
  論文  参考訳（メタデータ） (2023-10-09T17:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。