論文の概要: YANchor-4B: Effective Long-Horizon Reasoning in O(N) Time with O(1) Memory
- arxiv url: http://arxiv.org/abs/2610.10118v1
- Date: Wed, 07 Oct 2026 14:03:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.950718
- Title: YANchor-4B: Effective Long-Horizon Reasoning in O(N) Time with O(1) Memory
- Title（参考訳）: YANchor-4B:O(1)メモリを用いたO(N)時間における有効長軸推論
- Abstract要約: YANchor-4Bは、後続の推論における検索のための重要なメモリをANchorsとして保存する汎用リカレントモデルである。
AIME 2024-2026では82.93%の平均パス@1、HMMTでは63.64%を達成し、線形時間、定常状態ではかなり上回っている。
- 参考スコア（独自算出の注目度）: 23.876993245786974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon reasoning demands access to earlier information at a manageable generation cost. Full-history attention incurs growing storage and computation, while recurrent compression can lose precise details. Therefore, we present YANchor-4B, a general-purpose recurrent model that preserves crucial memory as ANchors for retrieval during subsequent reasoning. Beyond $O(N)$-time generation and $O(1)$ memory, YANchor enables effective long-horizon reasoning through its multidimensional memory mechanism. For example, on challenging math problems, it achieves 82.93% mean pass@1 on AIME 2024--2026 and 63.64% on HMMT, substantially outperforming linear-time, constant-state counterparts, including larger models. It also delivers several-fold higher batched long-generation throughput than Transformer and hybrid baselines on H100. Furthermore, evaluations across dozens of benchmarks demonstrate YANchor's superiority in general-purpose capabilities.
- Abstract（参考訳）: ロングホライズン推論は、管理可能な生成コストで、以前の情報へのアクセスを要求する。
フルヒストリーの注目はストレージと計算の増大を招き、リカレント圧縮は正確な詳細を失う可能性がある。
そこで本稿では,後続の推論において,重要なメモリをANchorsとして保存する汎用リカレントモデルであるYANchor-4Bを提案する。
O(N)$-time 生成と$O(1)$ メモリの他に、YANchor は多次元メモリ機構による効果的なロングホライゾン推論を可能にする。
例えば、挑戦的な数学問題では、AIME 2024-2026で82.93%の平均パス@1、HMMTで63.64%を達成する。
また、Transformerよりも数倍高いバッチ長寿命スループットとH100のハイブリッドベースラインを提供する。
さらに、数十のベンチマークによる評価は、汎用能力におけるYANchorの優位性を示している。
関連論文リスト
- HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models [47.19295948657598]
HLA-WMは、トレーニングフリーのハイブリッドリニアアテンションフレームワークである。
Gated DeltaNetのアフィン構造を利用して、コンパクトなチャンクのトランジションサマリーをキャッシュする。
カメラ幾何学を用いてシーン関連履歴チャンクを検索し、それらをクエリ固有のリカレント状態に再構成する。
論文 参考訳（メタデータ） (2026-10-05T03:44:00Z) - Characterizing High Bandwidth Flash for LLM Serving [62.46590593472309]
大規模言語モデル(LLM)は、モデルの重みとKVキャッシュを保持するためにかなりのメモリを必要とする。
高帯域フラッシュ(HBF)は、大型言語モデル(LLM)サービスのためのアクセラレータメモリ容量を拡大する手段を提供するが、アクセスコストと書き込み持続時間に制限があるため、その使用は複雑である。
本稿では,HBFホストの階層型ストレージシステムとバッファ型キャッシュアウェアスケジューリングを導入し,その性能,エネルギー消費,HBF書き込みライフタイムに与える影響をトレース駆動シミュレーションを用いて解析する。
論文 参考訳（メタデータ） (2026-09-30T07:02:56Z) - CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳（メタデータ） (2026-08-31T06:02:37Z) - Heavy-Tailed Memory Traces in Long-Horizon Language Agents [2.571318992830046]
エージェントメモリは、予測エラーが蓄積される長い尾に希少な状態を残しながら、小さなコアに集中できることを示す。
本稿では,階層型メモリコントローラであるCore-Tail World Model (CTWM)を提案する。
論文 参考訳（メタデータ） (2026-07-09T15:00:39Z) - MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [38.762431789628074]
メモリスパース注意(MSA:Memory Sparse Attention)は、エンドツーエンドのトレーニング可能で、効率的で、非常にスケーラブルなメモリモデルフレームワークである。
MSAは、例外的な安定性を維持しながら、トレーニングと推論の両方において線形複雑性を実現する。
また,分散メモリセグメント間の複雑なマルチホップ推論を容易にするメモリインターリービングを提案する。
論文 参考訳（メタデータ） (2026-03-06T02:29:54Z) - LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。
LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。
このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
論文 参考訳（メタデータ） (2026-03-03T18:55:37Z) - Memory Caching: RNNs with Growing Memory [56.25483647131372]
メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。
我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。
その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2026-02-27T18:53:41Z) - Warp-Cortex: An Asynchronous, Memory-Efficient Architecture for Million-Agent Cognitive Scaling on Consumer Hardware [0.0]
Warp Cortexは、理論的には百万単位の認知スケーリングを可能にする非同期アーキテクチャである。
計算遅延がボトルネックになる前に、100個の並行エージェントを2.2GBの全VRAMで実証し、理論的能力は1,000個を超えることを示した。
さらに,非侵入的KV-cache更新機構であるReferential Injectionを導入する。
論文 参考訳（メタデータ） (2026-01-03T23:11:21Z) - Mnemosyne: An Unsupervised, Human-Inspired Long-Term Memory Architecture for Edge-Based LLMs [1.2582867366903179]
我々は、エッジベース大規模言語モデル(LLM)のための、教師なし、人間にインスパイアされた長期記憶アーキテクチャであるMnemosyneを紹介する。
提案手法では, グラフ構造記憶, モジュール状物質および冗長性フィルタ, メモリコミットとプルーニング機構, 時間減衰とリフレッシュ処理による確率的リコールを用いた。
Mnemosyneは、反復的で意味的に類似しているが、時間的に異なる会話は、ナイーブ検索によって制限される縦型医療アシスタントでの使用を目的として設計されている。
論文 参考訳（メタデータ） (2025-10-07T03:32:53Z) - HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。
過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。
このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
論文 参考訳（メタデータ） (2020-08-17T23:39:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。