論文の概要: Hydra: A 1.6B-Parameter State-Space Language Model with Sparse Attention, Mixture-of-Experts, and Memory

• arxiv url: http://arxiv.org/abs/2508.15099v1
• Date: Wed, 20 Aug 2025 22:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.111022
• Title: Hydra: A 1.6B-Parameter State-Space Language Model with Sparse Attention, Mixture-of-Experts, and Memory
• Title（参考訳）: Hydra: スパースアテンション、Mixture-of-Experts、メモリを備えた1.6Bのステートスペース言語モデル
• Authors: Siddharth Chaudhary, Bennett Browning,
• Abstract要約: Hydraは、ハイブリッド長文言語モデルのためのアーキテクチャ提案である。 条件付き計算、長期コンテキストメモリ機構、スパース・ミックス・オブ・エキスパートを組み合わせる。 SSM効率、選択的スパースアテンション、MoEキャパシティ、学習可能なメモリを組み合わせることで、Hydraはモジュール型の入力適応長文言語モデルへの道筋をスケッチする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Hydra as an architectural proposal for hybrid long-context language models that combine conditional computation, long-context memory mechanisms, and sparse mixture-of-experts within an approximately 1.6B parameter design envelope. Hydra integrates a Mamba-style Structured State Space Model (SSM) backbone with intermittent sparse global attention, chunk-level MoE feed-forward routing, and dual (workspace plus factual PKM) memories. We formalize the component interfaces, give transparent parameter and complexity accounting, and outline a staged curriculum intended to stably activate the parts. We accompany the specification with illustrative toy-scale prototype measurements (tens of millions of parameters on synthetic data) whose sole purpose is to demonstrate implementation feasibility and qualitative scaling behaviors (for example, long-context throughput crossover and controllable expert routing), not to claim competitive full-scale performance. We explicitly delineate assumptions and open risks (training complexity, memory utilization, specialization dynamics) and position Hydra as a blueprint to stimulate empirical follow-up rather than a finished system. By combining SSM efficiency, selective sparse attention, MoE capacity, and learnable memory, Hydra sketches a path toward modular, input-adaptive long-context language models; validating end-task gains at target scale remains future work.
• Abstract（参考訳）: 約1.6Bのパラメータ設計エンベロープ内で条件計算,長コンテキストメモリ機構,およびスパース混合処理を組み合わせたハイブリッド長コンテキスト言語モデルのアーキテクチャ提案として,Hydraを提案する。 Hydraは、Mambaスタイルの構造化状態空間モデル(Structured State Space Model, SSM)のバックボーンと、間欠的なグローバルアテンション、チャンクレベルのMoEフィードフォワードルーティング、デュアル(ワークスペースと実際のPKM)メモリを統合している。 コンポーネントのインターフェースを形式化し、透過的なパラメータと複雑性を会計し、安定して部品を活性化するための段階的なカリキュラムを概説する。 本仕様では, 実運用性や定性的なスケーリング動作(例えば, 長文スループットのクロスオーバーと制御可能なエキスパートルーティング)を実証することを目的とした, 実測可能な玩具スケールの試作機(合成データ上での数十万のパラメータ)の仕様を伴い, 競合するフルスケール性能を主張しない。 仮定とオープンリスク(トレーニングの複雑さ、メモリ利用、特殊化のダイナミクス)を明確に記述し、Hydraをブループリントとして位置づけて、完成したシステムではなく経験的フォローアップを刺激します。 SSM効率、選択的スパースアテンション、MoEキャパシティ、学習可能なメモリを組み合わせることで、Hydraはモジュール化された入力適応型長文言語モデルへの道筋をスケッチする。

関連論文リスト

• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
  Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-03-27T00:59:14Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering [5.016335384639901]
  AVQA(Audio-Visual Question Answering)のマルチモーダル入力により,特徴抽出と融合処理がより困難になる。 我々は、双曲幾何学と状態空間モデルの利点を統合するために、構造化双曲状態空間モデル(SHMamba: Structured Hyperbolic State Space Model)を提案する。 提案手法は,現行のすべての主要な手法の優越性を実証し,実用的なアプリケーションシナリオに適した方法である。
  論文  参考訳（メタデータ） (2024-06-14T08:43:31Z)
• Revisiting Multi-modal Emotion Learning with Broad State Space Models and Probability-guidance Fusion [14.14051929942914]
  我々は,長距離文脈意味情報を特徴展開段階において抽出し,特徴融合段階においてモーダル間意味情報の一貫性を最大化するべきであると論じる。 近年の状態空間モデル (SSM) に着想を得たBroad Mambaを提案する。 提案手法は,長距離コンテキストをモデル化する場合に,Transformerの計算限界やメモリ制限を克服できることを示す。
  論文  参考訳（メタデータ） (2024-04-27T10:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。