論文の概要: CogScale: Scalable Benchmark for Sequence Processing

• arxiv url: http://arxiv.org/abs/2605.19758v1
• Date: Tue, 19 May 2026 12:32:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.327627
• Title: CogScale: Scalable Benchmark for Sequence Processing
• Title（参考訳）: CogScale: シーケンス処理のためのスケーラブルなベンチマーク
• Authors: Yannis Bendi-Ouis, Romain de Coudenhove, Xavier Hinaut,
• Abstract要約: 新しいアーキテクチャをテストするには、しばしば大量のデータセットやモデルにスケールアップする必要がある。 特定の認知能力と記憶能力の分離と評価を目的とした14のスケーラブルな合成タスクのベンチマークであるCogScaleを提案する。 その結果,従来のRNNとEcho State Networksは厳格なパラメータ予算内で基本的保持を保ちながら,注目機構と最新の状態空間モデルのみが常に高い性能を維持していることがわかった。
• 参考スコア（独自算出の注目度）: 1.8853398065417313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to maintain and manipulate information over time is a fundamental aspect of living beings and Artificial Intelligence. While modern models have achieved remarkable success in tasks like natural language processing, evaluating the capacity of novel architectures to process sequential information remains computationally expensive and time-consuming. Testing a new architecture often requires scaling up to massive datasets and models, leading to vast computational costs and slow iteration cycles. In this paper, we propose CogScale, a benchmark of 14 scalable synthetic tasks designed to isolate and evaluate specific cognitive and memory abilities at different parametrizable scales. By providing a standardized, lightweight framework, CogScale allows researchers to rapidly validate architectural innovations before committing to large-scale training. To establish a solid baseline, we evaluate seven distinct architectures: Gated Recurrent Unit (GRU), Long Short-Term Memory (LSTM), xLSTM, Echo State Network (ESN), Mamba, Transformer Decoder, and Transformer Encoder-Decoder. These evaluations are conducted under strict parameter budgets (1k, 10k, and 100k) and across different difficulty levels and scales. Our results show that while classical RNNs and Echo State Networks excel at basic retention within strict parameter budgets, only attention mechanisms and modern state-space models consistently maintain high performance as reasoning complexity and task difficulty scale.
• Abstract（参考訳）: 情報を維持し、操作する能力は、生物と人工知能の基本的な側面である。 現代のモデルは自然言語処理のようなタスクにおいて顕著な成功を収めてきたが、シーケンシャルな情報を処理する新しいアーキテクチャの能力の評価は、計算コストと時間を要するままである。 新しいアーキテクチャをテストするには、しばしば大量のデータセットやモデルにスケールアップする必要がある。 本稿では,14のスケーラブルな合成タスクのベンチマークであるCogScaleを提案する。 CogScaleは、標準化された軽量なフレームワークを提供することで、大規模トレーニングにコミットする前に、アーキテクチャのイノベーションを迅速に検証することができる。 GRU(Gated Recurrent Unit)、Long Short-Term Memory(LSTM)、xLSTM、Echo State Network(ESN)、Mamba、Transformer Decoder、Transformer Encoder-Decoderの7つのアーキテクチャを評価した。 これらの評価は厳格なパラメータ予算(1k, 10k, 100k)で実施され, 難易度とスケールが異なる。 この結果から,従来のRNNとEcho State Networksは厳格なパラメータ予算内で基本的保持を保ちながら,注意機構と最新の状態空間モデルのみが,推論複雑性とタスク難易度尺度として常に高い性能を維持していることがわかった。

関連論文リスト

• Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
  RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。 VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
  論文  参考訳（メタデータ） (2026-03-10T11:13:54Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Enhancing material behavior discovery using embedding-oriented Physically-Guided Neural Networks with Internal Variables [0.0]
  内部変数を持つ物理的ガイド付きニューラルネットワークは、トレーニングや内部状態関係の解明に可観測データのみを使用するSciMLツールである。 それらの可能性にもかかわらず、これらのモデルは、細粒度空間場や時間進化システムのような高次元データに適用する場合、スケーラビリティの課題に直面している。 本稿では,これらのスケーラビリティの限界に対処するPGNNIVフレームワークの改良について,低次モデリング手法を用いて提案する。
  論文  参考訳（メタデータ） (2025-08-01T12:33:21Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。