論文の概要: Hydra: A 1.6B-Parameter State-Space Language Model with Sparse Attention, Mixture-of-Experts, and Memory

• arxiv url: http://arxiv.org/abs/2508.15099v2
• Date: Fri, 22 Aug 2025 05:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 12:20:05.396227
• Title: Hydra: A 1.6B-Parameter State-Space Language Model with Sparse Attention, Mixture-of-Experts, and Memory
• Title（参考訳）: Hydra: スパースアテンション、Mixture-of-Experts、メモリを備えた1.6Bのステートスペース言語モデル
• Authors: Siddharth Chaudhary, Bennett Browning,
• Abstract要約: Hydraは、ハイブリッド長文言語モデルのためのアーキテクチャ提案である。 条件付き計算、長期コンテキストメモリ機構、スパース・ミックス・オブ・エキスパートを組み合わせる。 SSM効率、選択的スパースアテンション、MoEキャパシティ、学習可能なメモリを組み合わせることで、Hydraはモジュール型の入力適応長文言語モデルへの道筋をスケッチする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Hydra as an architectural proposal for hybrid long-context language models that combine conditional computation, long-context memory mechanisms, and sparse mixture-of-experts within an approximately 1.6B parameter design envelope. Hydra integrates a Mamba-style Structured State Space Model (SSM) backbone with intermittent sparse global attention, chunk-level MoE feed-forward routing, and dual (workspace plus factual PKM) memories. We formalize the component interfaces, give transparent parameter and complexity accounting, and outline a staged curriculum intended to stably activate the parts. We accompany the specification with illustrative toy-scale prototype measurements (tens of millions of parameters on synthetic data) whose sole purpose is to demonstrate implementation feasibility and qualitative scaling behaviors (for example, long-context throughput crossover and controllable expert routing), not to claim competitive full-scale performance. We explicitly delineate assumptions and open risks (training complexity, memory utilization, specialization dynamics) and position Hydra as a blueprint to stimulate empirical follow-up rather than a finished system. By combining SSM efficiency, selective sparse attention, MoE capacity, and learnable memory, Hydra sketches a path toward modular, input-adaptive long-context language models; validating end-task gains at target scale remains future work.
• Abstract（参考訳）: 約1.6Bのパラメータ設計エンベロープ内で条件計算,長コンテキストメモリ機構,およびスパース混合処理を組み合わせたハイブリッド長コンテキスト言語モデルのアーキテクチャ提案として,Hydraを提案する。 Hydraは、Mambaスタイルの構造化状態空間モデル(Structured State Space Model, SSM)のバックボーンと、間欠的なグローバルアテンション、チャンクレベルのMoEフィードフォワードルーティング、デュアル(ワークスペースと実際のPKM)メモリを統合している。 コンポーネントのインターフェースを形式化し、透過的なパラメータと複雑性を会計し、安定して部品を活性化するための段階的なカリキュラムを概説する。 本仕様では, 実運用性や定性的なスケーリング動作(例えば, 長文スループットのクロスオーバーと制御可能なエキスパートルーティング)を実証することを目的とした, 実測可能な玩具スケールの試作機(合成データ上での数十万のパラメータ)の仕様を伴い, 競合するフルスケール性能を主張しない。 仮定とオープンリスク(トレーニングの複雑さ、メモリ利用、特殊化のダイナミクス)を明確に記述し、Hydraをブループリントとして位置づけて、完成したシステムではなく経験的フォローアップを刺激します。 SSM効率、選択的スパースアテンション、MoEキャパシティ、学習可能なメモリを組み合わせることで、Hydraはモジュール化された入力適応型長文言語モデルへの道筋をスケッチする。

関連論文リスト

• Data-Driven Dynamic Parameter Learning of manipulator robots [0.8679862302950613]
  動的パラメータ推定のためのトランスフォーマーに基づく手法を提案する。 データセットは、8,192個のロボットで構成され、慣性および摩擦特性は様々である。 我々のモデルは時間的および空間的依存の両方を効果的に捉えている。
  論文  参考訳（メタデータ） (2025-12-09T16:15:58Z)
• Dynamic Reasoning Chains through Depth-Specialized Mixture-of-Experts in Transformer Architectures [1.0518862318418605]
  我々はDepth Specialated Mixture of Experts (DS-MoE) を通して動的推論チェインの概念を開発する。 DS-MoEは、異なる推論深度、浅いパターン認識、構成推論、論理推論、メモリ統合、メタ認知監視のために最適化されたエキスパートモジュールを導入している。 DS-MoEは,一様深度変圧器に比べて最大16パーセント,35%高速な推算が可能なことを示す。
  論文  参考訳（メタデータ） (2025-09-24T21:33:54Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
  Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-03-27T00:59:14Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• Multi-branch of Attention Yields Accurate Results for Tabular Data [8.017123125747258]
  本稿では,エンコーダ・デコーダ・トランスを用いたMAYAを提案する。 エンコーダでは、複数の並列注意枝を構成するマルチブランチ・オブ・アテンション(MBA)を設計する。 我々は、より堅牢な表現を生成するために、動的一貫性重み制約を伴う協調学習を採用する。
  論文  参考訳（メタデータ） (2025-02-18T03:43:42Z)
• ContextFormer: Redefining Efficiency in Semantic Segmentation [48.81126061219231]
  畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。 ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。 我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
  論文  参考訳（メタデータ） (2025-01-31T16:11:04Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering [5.016335384639901]
  AVQA(Audio-Visual Question Answering)のマルチモーダル入力により,特徴抽出と融合処理がより困難になる。 我々は、双曲幾何学と状態空間モデルの利点を統合するために、構造化双曲状態空間モデル(SHMamba: Structured Hyperbolic State Space Model)を提案する。 提案手法は,現行のすべての主要な手法の優越性を実証し,実用的なアプリケーションシナリオに適した方法である。
  論文  参考訳（メタデータ） (2024-06-14T08:43:31Z)
• Revisiting Multi-modal Emotion Learning with Broad State Space Models and Probability-guidance Fusion [14.14051929942914]
  我々は,長距離文脈意味情報を特徴展開段階において抽出し,特徴融合段階においてモーダル間意味情報の一貫性を最大化するべきであると論じる。 近年の状態空間モデル (SSM) に着想を得たBroad Mambaを提案する。 提案手法は,長距離コンテキストをモデル化する場合に,Transformerの計算限界やメモリ制限を克服できることを示す。
  論文  参考訳（メタデータ） (2024-04-27T10:22:03Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Resource-Efficient Separation Transformer [14.666016177212837]
  本稿では,トランスフォーマーを用いた音声分離手法について,計算コストの削減による検討を行う。 私たちの主な貢献は、自己注意に基づくアーキテクチャであるResource-Efficient separation Transformer (RE-SepFormer)の開発です。 RE-SepFormerは、一般的なWSJ0-2MixとWHAM!データセットにおいて、因果設定と非因果設定の両方で競合するパフォーマンスに達する。
  論文  参考訳（メタデータ） (2022-06-19T23:37:24Z)
• Ensemble Transformer for Efficient and Accurate Ranking Tasks: an Application to Question Answering Systems [99.13795374152997]
  本研究では,大きな変圧器のアンサンブルを1つの小さなモデルに蒸留するニューラルネットワークを提案する。 MHSモデルは、入力をエンコードするために使用されるトランスフォーマー層のスタックと、ランキングヘッドのセットの2つのコンポーネントから構成される。 従来の蒸留法とは異なり,本手法では,アンサンブルメンバーの多様性を保ちつつ,個々のモデルを教師として利用している。
  論文  参考訳（メタデータ） (2022-01-15T06:21:01Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。