論文の概要: Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning
- arxiv url: http://arxiv.org/abs/2608.14290v1
- Date: Fri, 14 Aug 2026 13:21:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.388494
- Title: Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning
- Title（参考訳）: インターンS2-Mobius:知識と推論を分離した基礎モデル
- Abstract要約: 本稿では,知識ベクトルを格納するグローバル共有メモリ(FFN)と,コンポジション推論を反復的に実現する複数の推論器(Self-Attn)を組み合わせたアーキテクチャであるMobius-v0を紹介する。
トレーニングされた7Bモデルは、ベースラインのトレーニングデータの62.6%の7Bトランスフォーマーベースラインと同様のダウンストリームスコアを得る。
我々のIntern-S2-MobiusはQwen3.5-35Bから継続的に事前訓練を受けており、ほぼ4倍のエンドツーエンドの推論速度でダウンストリームスコアを達成しています。
- 参考スコア（独自算出の注目度）: 98.03560647471483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Mobius-v0, an architecture that comprises a globally shared Memory (FFN) that stores knowledge vectors and multiple Reasoners (Self-Attn) that iteratively achieve compositional reasoning. Using hidden states as cache and carrier, reasoners repeatedly query memory for required knowledge-vectors, while the knowledge is transmitted back to reasoning operators. Through this knowledge-reasoning-separation architecture, Mobius achieves better knowledge compression and reasoning efficiency. Built upon Mobius-v0 architecture: 1) Our 7B model trained-from-scratch achieves similar downstream score as a 7B Transformer baseline with 62.6% of baseline's training data. 2) Our Intern-S2-Mobius, continually-pretrained from Qwen3.5-35B, achieves similar downstream score while delivering nearly 4x end-to-end inference speedup.
- Abstract（参考訳）: 本稿では,知識ベクトルを格納するグローバル共有メモリ(FFN)と,コンポジション推論を反復的に実現する複数の推論器(Self-Attn)を組み合わせたアーキテクチャであるMobius-v0を紹介する。
キャッシュとキャリアとして隠された状態を使用することで、推論者は要求される知識ベクトルのメモリを何度もクエリし、知識は推論演算子に送信される。
この知識分離アーキテクチャにより、Mobiusはより良い知識圧縮と推論効率を達成する。
Mobius-v0アーキテクチャをベースにしている。
1) トレーニングした7Bモデルは,ベースラインのトレーニングデータの62.6%の7Bトランスフォーマーベースラインと同様のダウンストリームスコアを得る。
2) Intern-S2-MobiusはQwen3.5-35Bから継続的に事前訓練され,ほぼ4倍の速度でダウンストリームスコアを達成している。
関連論文リスト
- AutoMem: Automated Learning of Memory as a Cognitive Skill [63.07128029793901]
記憶の専門知識は学習したスキルであることを示す。
メモリ管理の2つの軸を自動化するフレームワークであるAutoMemを紹介する。
その結果,メモリ管理は独立して学習可能なスキルであることが示唆された。
論文 参考訳（メタデータ） (2026-07-01T17:57:03Z) - Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2 [0.0]
Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。
278MBモデル(FP16教師の2.7GBより9.7倍小さい)をGPU上で21.4倍高速に動作させる。
論文 参考訳（メタデータ） (2026-04-28T14:25:10Z) - Forage V2: Knowledge Evolution and Transfer in Autonomous Agent Organizations [0.0]
我々は,ランニング,モデル機能間の移動,知識劣化防止のための制度的安全対策などを通じて,経験が蓄積されることを示す。
3つのタスクタイプ(Webスクレイピング、APIクエリ、数学的推論)にまたがる2つのクレームを実証する。
強いエージェント(オプス)の知識でシードされた弱いエージェント(ソネット)は6.6ppのカバレッジギャップを1.1ppに狭め、ハーフコスト(9.40〜5.13 USD)を半ラウンド(平均4.5対7.0)に収束させ、3つの独立したシードランはちょうど同じ分母推定(266)に到達する。
論文 参考訳（メタデータ） (2026-04-21T08:14:09Z) - SuperLocalMemory V3.3: The Living Brain -- Biologically-Inspired Forgetting, Cognitive Quantization, and Multi-Channel Retrieval for Zero-LLM Agent Memory Systems [0.0]
ローカルファーストのエージェントメモリシステムであるSuperLocalMemory V3.3("The Living Brain")を提案する。
認知記憶の完全な分類と数学的ライフサイクルのダイナミクスを実装している。
Elastic License 2.0の下でオープンソースで、完全にCPUで動作し、毎月5000回以上ダウンロードされている。
論文 参考訳（メタデータ） (2026-04-06T08:27:26Z) - Reasoning Vectors: Transferring Chain-of-Thought Capabilities via Task Arithmetic [51.41777906371754]
大規模言語モデルは複雑な推論タスクをマスターするために、強化学習のようなコストのかかる最適化を必要とすることが多い。
この研究は、ひとたび学習された推論能力を、コンパクトなタスクベクトルとしてモデル間で抽出し、伝達できることを実証する。
論文 参考訳（メタデータ） (2025-09-01T11:04:51Z) - Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
スケーリング法則は、言語モデルのサイズと能力の関係を記述している。
我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。
7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
論文 参考訳（メタデータ） (2024-04-08T11:11:31Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - NeuDep: Neural Binary Memory Dependence Analysis [28.33030658966508]
本稿では,バイナリプログラムの実行方法に関する学習知識を活用して,メモリ依存を予測するための機械学習に基づく新しいアプローチを提案する。
我々はNeuDepにアプローチを実装し、2つのコンパイラ、4つの最適化、4つの難読パスでコンパイルされた41の人気のあるソフトウェアプロジェクトで評価する。
論文 参考訳（メタデータ） (2022-10-04T04:59:36Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Least Redundant Gated Recurrent Neural Network [0.0]
我々は、Deep Memory Update (DMU)と呼ばれるリカレントニューラルネットワークを導入する。
これは、ラグ状態とネットワーク入力の深い変換により、前のメモリ状態を更新することに基づいている。
学習速度をモジュールのサイズに関連付けるため、トレーニングは安定して高速である。
論文 参考訳（メタデータ） (2021-05-28T20:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。