論文の概要: IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
- arxiv url: http://arxiv.org/abs/2610.30949v1
- Date: Thu, 22 Oct 2026 09:01:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.294585
- Title: IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
- Title（参考訳）: IQuest-Q1: エージェントCLIシステムのファンデーション機能の向上
- Abstract要約: IQuest-Q1は320Bの総パラメータを持つスパースミクチャー・オブ・エクササイズ(MoE)エージェント基盤モデルである(15B活性化)。
IQuest-Q1は,(1)安定かつ効率的な事前学習,安定なSplitNorm, Muon, muPと2段階のカリキュラムの組み合わせ,(2)ドメインとフォーマットにまたがるデータ混合の微粒化,拡張,(3)マルチバージョンポストトレーニングによるマルチスキャフォールド,SFT,ドメイン特化RL,MOPDの3段階からなる。
- 参考スコア（独自算出の注目度）: 133.76359208184098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present IQuest-Q1, a sparse Mixture-of-Experts (MoE) agentic foundation model with 320B total parameters (15B activated). IQuest-Q1 is developed through a three-stage process: (1) stable and efficient pre-training, combining Stable SplitNorm, Muon, and muP with a two-stage curriculum whose second stage increases the coding-data mixture, preserving a wide stability margin between safe and optimal learning rates; (2) fine-grained mid-training, expanding the data mixture across domains and formats and progressively extending the context; and (3) multi-scaffold with multi-version post-training, combining SFT, domain-specialized RL, and MOPD across various scaffolds to integrate complementary training signals and strengthen agentic coding capabilities. Furthermore, model merging combines different experts and checkpoints from different stages while mitigating conflicts among their parameter updates. The resulting IQuest-Q1 demonstrates capabilities in both coding and general tasks. We release IQuest-Q1 as an open-source model to support community research and development.
- Abstract（参考訳）: IQuest-Q1は320Bの総パラメータ(15Bが活性化)を持つスパースミクチャー・オブ・エクササイズ(MoE)エージェント基盤モデルである。
IQuest-Q1は,(1)安定的で効率的な事前学習,2)安定なSplitNorm, Muon, および muP と2段階の2段階のカリキュラムを組み合わせることにより,符号化データ混合を増大させ,安全性と最適学習率の間に広い安定性の限界を保ち,さらに(2) ドメインとフォーマットにまたがってデータ混合を段階的に拡張し,コンテキストを段階的に拡張する,3) マルチスキャフォールドとマルチバージョンポストトレーニングを併用し,SFT,ドメイン特定RL,MOPDを結合して,補完的なトレーニング信号の統合とエージェントプログラミング機能を強化する,という3段階のプロセスによって開発されている。
さらに、モデルマージは、異なるステージから異なる専門家とチェックポイントを組み合わせて、パラメータ更新間の競合を軽減する。
その結果、IQuest-Q1は、コーディングと一般的なタスクの両方で機能を示す。
我々はコミュニティの研究開発を支援するオープンソースモデルとしてIQuest-Q1をリリースします。
関連論文リスト
- IQuest-Coder-V1 Technical Report [56.045533451719905]
IQuest-Coder-V1 シリーズ-(7B/14B/40B/40B-Loop) は、新しいコード大言語モデル(LLM)のファミリーである。
IQuest-Coder-V1は、コードインテリジェンスの重要な次元にわたる競合モデルの最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-17T16:15:31Z) - MARTI-MARS$^2$: Scaling Multi-Agent Self-Search via Reinforcement Learning for Code Generation [64.2621682259008]
セルフサーチスケーリングによるマルチエージェント強化トレーニングと推論フレームワーク(MARTI-MARS2)
本稿では,MARTI-MARS2を用いたマルチエージェント強化学習・推論フレームワークを提案する。
我々は、MARTI-MARS2が77.7%を獲得し、GPT-5.1のような強力なベースラインを、挑戦的なコード生成ベンチマークで上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-08T07:28:44Z) - MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。
我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。
数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
論文 参考訳（メタデータ） (2025-09-25T14:58:29Z) - Large-Scale Diverse Synthesis for Mid-Training [15.81154701009597]
BoostQAは100Bの大規模質問回答データセットである。
本稿では,BoostQAを合成するための新しい多様化パイプラインを提案する。
提案手法は,Llama-3 8Bを40Bトーケンデータセットで中級訓練し,MMLUとCMMLUで平均$mathbf12.74%の改善を実現する。
論文 参考訳（メタデータ） (2025-08-02T11:37:16Z) - Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳（メタデータ） (2025-06-17T17:12:34Z) - WeThink: Toward General-purpose Vision-Language Reasoning via Reinforcement Learning [17.459985667824807]
DeepSeek-R1のようなテキストベースの推論モデルの成功に基づいて、これらの機能をマルチモーダル推論に拡張することは大きな約束である。
本稿では,強化学習を通じて汎用的な視覚言語推論を実現する方法について述べる。
論文 参考訳（メタデータ） (2025-06-09T16:20:54Z) - Activation-Guided Consensus Merging for Large Language Models [25.68958388022476]
textbfActivation-Guided textbfConsensus textbfMerging(textbfACM)は,層固有のマージ係数を決定するプラグインとプレイのマージフレームワークである。
L2S(Long-to-Short)と一般的なマージタスクの実験は、ACMが全てのベースラインメソッドを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2025-05-20T07:04:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。