論文の概要: Solar Open 2 Technical Report

• arxiv url: http://arxiv.org/abs/2607.20062v2
• Date: Fri, 24 Jul 2026 02:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 14:08:30.92949
• Title: Solar Open 2 Technical Report
• Title（参考訳）: Solar Open 2テクニカルレポート
• Abstract要約: 長距離エージェントタスク用に構築された250B-A15B Mixture-of-Experts言語モデルであるSolar Open 2を提案する。 エージェント全体の軌道を単一のコンテキストで保持するために、Solar Open 2は1Mの窓に達する。 ドメインスペシャリスト12人を、目的に構築されたシナリオで訓練し、それらを単一のモデルに統合します。
• 参考スコア（独自算出の注目度）: 96.21161740206544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Solar Open 2, a 250B-A15B Mixture-of-Experts language model built for long-horizon agentic tasks, scaled up from Solar Open 1 (Solar Open 100B). To hold entire agent trajectories in a single context, Solar Open 2 reaches a 1M-token window through a hybrid attention stack that interleaves one softmax layer among every three linear-attention layers, using no positional encoding and a gated delta rule extended to negative eigenvalues. To train at this scale under a fixed compute budget, we make training efficient in two ways: a stronger starting point, and higher-value data. For the starting point, we initialize Solar Open 2 from Solar Open 1, transferring the 5.69B-parameter shared skeleton that survives the architectural change and learning everything else through full pre-training. For the data, we curate for value per token: quality- and rarity-aware data curation and mixture-ratio optimization refine a 20T pool into a 10T mixture that, at equal token budget, outperforms the Solar Open 1 recipe. To build its agent skills, we train twelve domain specialists across purpose-built scenarios, then consolidate them into a single model by Multi-teacher On-Policy Distillation (MOPD). Against comparably sized open-weight models on English benchmarks, Solar Open 2 leads on MMLU-Pro, LiveCodeBench, and the APEX-Agents agentic suite, and stays competitive with the strongest (DeepSeek-V4-Flash and MiMo-V2.5) elsewhere. On Korean benchmarks, Solar Open 2 records the highest average of any model compared, including fast-tier closed APIs, and on Ko-GDPval, an in-house Korean officework-agent benchmark, it is competitive with DeepSeek-V4-Pro (1.6T) at less than a sixth of its size.
• Abstract（参考訳）: 我々は、Solar Open 1(Solar Open 100B)からスケールアップした、長距離エージェントタスク用に構築された250B-A15B Mixture-of-Experts言語モデルであるSolar Open 2を提示する。 エージェント全体の軌跡を単一のコンテキストで保持するために、Solar Open 2は、3つのリニアアテンション層間で1つのソフトマックス層をインターリーブするハイブリッドアテンションスタックを介して、1Mのトーケンウィンドウに到達する。 このスケールで一定の計算予算の下でのトレーニングでは、より強力な出発点と高い値のデータという2つの方法でトレーニングを効率化する。 まず最初に、Solar Open 1からSolar Open 2を初期化します。 データに対して、私たちはトークン当たりの価値をキュレートします: 品質と希少性を意識したデータキュレーションと混合比最適化により、20Tプールを10Tミックスに洗練し、トークン予算が等しく、Solar Open 1のレシピよりも優れています。 エージェントスキルを構築するために、目的に構築されたシナリオで12人のドメインスペシャリストをトレーニングし、それをMOPD(Multi-Teacher On-Policy Distillation)によって単一のモデルに統合します。 イングランドのベンチマークで比較可能な大きさのオープンウェイトモデルに対して、Solar Open 2はMMLU-Pro、LiveCodeBench、APEX-Agentsエージェントスイートをリードし、最強(DeepSeek-V4-FlashとMiMo-V2.5)と競争力を維持している。 韓国のベンチマークでは、Solar Open 2は、ファストレートのクローズドAPIを含むどのモデルよりも高い平均を記録しており、韓国の社内オフィスワークエージェントベンチマークであるKo-GDPvalでは、DeepSeek-V4-Pro(1.6T)と6分の1以下で競合している。

関連論文リスト

• Opt.Gear Technical Report [3.573729952898132]
  OptGearは、デバイス上での効率的なデプロイメント、リアルタイム推論、強力なタスク能力のために設計された基盤モデルである。 密度モデル(1M、270M、1B)で、コンテキスト長は64Kである。 OptGear-1MはARM Cortex-M7 CPU上でW4A32量子化で20TPSを達成した最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2026-08-02T06:43:25Z)
• Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [269.10652784788374]
  Nemotron 3 Ultraは5500億の総計と5500億のアクティブパラメータであるMixture-of-Experts Hybrid Mamba-Attention Languageモデルである。 我々は,20兆のテキストトークン上でNemotron 3 Ultraを事前訓練し,コンテキスト長を100万トークンに拡張し,スーパービジョンファインチューニング(SFT),強化学習(RL),マルチ教師オンポリシィ蒸留(MOPD)を用いて後訓練を行った。
  論文  参考訳（メタデータ） (2026-06-12T22:56:12Z)
• MolmoAct2: Action Reasoning Models for Real-world Deployment [67.6315757474802]
  MolmoAct2は、実用的なデプロイメントのために構築された、完全にオープンなアクション推論モデルである。 空間的および具体的推論に特化した VLM バックボーンである MolmoER を紹介する。 低コストプラットフォームにまたがる3つの新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2026-05-04T17:51:21Z)
• Solar Open Technical Report [65.93022715874504]
  Solar Openは、競争力のあるLLMを構築するための体系的な方法論を実証している。 高品質・ドメイン固有・RL指向の4.5Tトークンを合成する。 提案するフレームワークであるSnapPOを効率的な最適化に応用する。
  論文  参考訳（メタデータ） (2026-01-11T18:33:09Z)
• Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data [55.65426108082807]
  Uni-MoE-2.0-Omniをスクラッチから3つのコアコントリビューションで構築しています。 雑用的な理解や、画像、テキスト、音声を生成することができる。
  論文  参考訳（メタデータ） (2025-11-16T14:10:55Z)
• APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay [86.01901238059261]
  APIGen-MTは検証可能で多様なマルチターンエージェントデータを生成するフレームワークである。 xLAM-2-fc-r 級数で 1B から 70B のパラメータを持つモデル群を訓練する。 我々のモデルは、$tau$-benchとBFCLベンチマークでGPT-4oやClaude 3.5のようなフロンティアモデルより優れている。
  論文  参考訳（メタデータ） (2025-04-04T17:13:57Z)
• H2O-Danube-1.8B Technical Report [2.6856284636402106]
  本稿では,H2O-Danubeについて述べる。 H2O-Danube2-1.8B は2Bパラメータ範囲以下の全てのモデルで Open LLM Leaderboard でトップランクを獲得している。
  論文  参考訳（メタデータ） (2024-01-30T08:45:08Z)
• Gaussian Process Regression for Probabilistic Short-term Solar Output Forecast [1.7205106391379026]
  本稿では,気象の不確実性を考慮した短期PV出力予測のための確率的枠組みを提案する。 我々は, 放射能, 温度, ゼニス, 方位などの気象データと出力データからなるデータセットを利用する。 提案手法を, 異なる場所にある5つの発電プラントで検証し, 既存の手法と比較した。
  論文  参考訳（メタデータ） (2020-02-23T15:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。