論文の概要: Hydra: A Modular Architecture for Efficient Long-Context Reasoning
- arxiv url: http://arxiv.org/abs/2508.15099v3
- Date: Thu, 16 Oct 2025 18:37:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 15:58:54.406475
- Title: Hydra: A Modular Architecture for Efficient Long-Context Reasoning
- Title（参考訳）: Hydra: 効率的なロングコンテキスト推論のためのモジュールアーキテクチャ
- Authors: Siddharth Chaudhary, Dev Patel, Maheep Chaudhary, Bennett Browning,
- Abstract要約: 状態空間のバックボーンをベースとしたモジュールアーキテクチャであるHydraを紹介します。
我々は、論理的連鎖精度と合成シーケンスのスループット、WikiTextのスループットを29Mパラメータモデルで評価した。
Hydraは、合成データセットとWikiTextデータセットの8Kトークンで、それぞれ$3.01times$と$3.0times$スループットゲインを達成している。
- 参考スコア（独自算出の注目度）: 0.0874967598360817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The quadratic complexity of transformers fundamentally limits reasoning system deployment in resource-constrained and long-context settings. We introduce Hydra, a modular architecture based upon a state-space backbone which adaptively routes between complementary efficiency mechanisms: sparse global attention, mixture-of-experts, and dual memories comprising a reasoning workspace and product key memory. We evaluate a 29M parameter model measuring logical chaining accuracy and throughput on synthetic sequences, plus throughput on WikiText. Ablation studies use component-specific synthetic datasets to isolate individual mechanisms. Hydra achieves $3.01\times$ and $3.0\times$ throughput gains at 8K tokens for synthetic and WikiText datasets, respectively, and $10\times$ accuracy improvements on multi-step logical composition compared to equal-sized transformers. Ablations confirm each component's contribution: sparse attention captures long-range dependencies, experts specialize to input domains, and product key memory enables selective retrieval.
- Abstract（参考訳）: 変換器の二次的な複雑さは、資源制約や長期コンテキストの設定における推論システムの配置を根本的に制限する。
我々は,相補的効率メカニズムの中間を適応的にルーティングする,状態空間のバックボーンに基づくモジュールアーキテクチャであるHydraを紹介した。
我々は、論理的連鎖精度と合成シーケンスのスループット、WikiTextのスループットを29Mパラメータモデルで評価した。
アブレーション研究は、個々のメカニズムを分離するためにコンポーネント固有の合成データセットを使用する。
Hydraは、合成データセットとWikiTextデータセットの8Kトークンで、それぞれ$3.01\times$と$3.0\times$スループットゲインを達成している。
スパースアテンションは長距離依存関係をキャプチャし、エキスパートは入力ドメインを専門とし、製品キーメモリは選択的検索を可能にする。
関連論文リスト
- Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。
Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。
本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
論文 参考訳（メタデータ） (2025-06-22T19:26:55Z) - Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。
この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。
我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
論文 参考訳（メタデータ） (2025-06-13T14:29:40Z) - Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。
MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。
提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2025-03-27T00:59:14Z) - ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。
ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
論文 参考訳（メタデータ） (2025-03-10T03:15:54Z) - Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。
マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。
HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
論文 参考訳（メタデータ） (2024-10-04T06:19:29Z) - SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering [5.016335384639901]
AVQA(Audio-Visual Question Answering)のマルチモーダル入力により,特徴抽出と融合処理がより困難になる。
我々は、双曲幾何学と状態空間モデルの利点を統合するために、構造化双曲状態空間モデル(SHMamba: Structured Hyperbolic State Space Model)を提案する。
提案手法は,現行のすべての主要な手法の優越性を実証し,実用的なアプリケーションシナリオに適した方法である。
論文 参考訳（メタデータ） (2024-06-14T08:43:31Z) - Revisiting Multi-modal Emotion Learning with Broad State Space Models and Probability-guidance Fusion [14.14051929942914]
我々は,長距離文脈意味情報を特徴展開段階において抽出し,特徴融合段階においてモーダル間意味情報の一貫性を最大化するべきであると論じる。
近年の状態空間モデル (SSM) に着想を得たBroad Mambaを提案する。
提案手法は,長距離コンテキストをモデル化する場合に,Transformerの計算限界やメモリ制限を克服できることを示す。
論文 参考訳（メタデータ） (2024-04-27T10:22:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。