論文の概要: Solar Open 2 Technical Report

• arxiv url: http://arxiv.org/abs/2607.20062v1
• Date: Wed, 22 Jul 2026 12:08:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.071391
• Title: Solar Open 2 Technical Report
• Title（参考訳）: Solar Open 2テクニカルレポート
• Authors: Sungrae Park, Sanghoon Kim, Gyoungjin Gim, Jungho Cho, Hyunwoong Ko, Minbyul Jeong, Minjeong Kim, Keunwoo Choi, Chaehun Shin, Chanwoong Yoon, Dongjun Kim, Eunwon Kim, Gyungin Shin, Hyeonju Lee, Hyungkyu Kang, Inseo Song, Jisu Bae, Jiyoon Han, Jiyun Lee, Joonkee Kim, Junyeop Lee, Mikyoung Cha, Sangwon Yu, Sehwan Joo, Seokyoon Kang, Seonghoon Yang, Seung Shin, Seunghyun Lee, Seungseop Lim, Seungyoun Shin, Sukyung Lee, Taegyeong Eo, Taehwan Oh, Taewhoo Lee, Wonho Song, Wonjun Oh, Wonseok Hwang, Yunsu Kim, Yura Shim, Hwalsuk Lee, Sunghun Kim, Du-Seong Chang, Kyunghyun Cho, Seungju Han, Yejin Choi, Junsuk Choe, Hwaran Lee, Minjeong Ban, Yun Taewon, Hwanjun Song, Jae-Gil Lee, KyungTae Lim, Alice Oh,
• Abstract要約: 長距離エージェントタスク用に構築された250B-A15B Mixture-of-Experts言語モデルであるSolar Open 2を提案する。 エージェント全体の軌道を単一のコンテキストで保持するために、Solar Open 2は1Mの窓に達する。 ドメインスペシャリスト12人を、目的に構築されたシナリオで訓練し、それらを単一のモデルに統合します。
• 参考スコア（独自算出の注目度）: 96.21161740206544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Solar Open 2, a 250B-A15B Mixture-of-Experts language model built for long-horizon agentic tasks, scaled up from Solar Open 1 (Solar Open 100B). To hold entire agent trajectories in a single context, Solar Open 2 reaches a 1M-token window through a hybrid attention stack that interleaves one softmax layer among every three linear-attention layers, using no positional encoding and a gated delta rule extended to negative eigenvalues. To train at this scale under a fixed compute budget, we make training efficient in two ways: a stronger starting point, and higher-value data. For the starting point, we initialize Solar Open 2 from Solar Open 1, transferring the 5.69B-parameter shared skeleton that survives the architectural change and learning everything else through full pre-training. For the data, we curate for value per token: quality- and rarity-aware data curation and mixture-ratio optimization refine a 20T pool into a 10T mixture that, at equal token budget, outperforms the Solar Open 1 recipe. To build its agent skills, we train twelve domain specialists across purpose-built scenarios, then consolidate them into a single model by Multi-teacher On-Policy Distillation (MOPD). Against comparably sized open-weight models on English benchmarks, Solar Open 2 leads on MMLU-Pro, LiveCodeBench, and the APEX-Agents agentic suite, and stays competitive with the strongest (DeepSeek-V4-Flash and MiMo-V2.5) elsewhere. On Korean benchmarks, Solar Open 2 records the highest average of any model compared, including fast-tier closed APIs, and on Ko-GDPval, an in-house Korean officework-agent benchmark, it is competitive with DeepSeek-V4-Pro (1.6T) at less than a sixth of its size.
• Abstract（参考訳）: 我々は、Solar Open 1(Solar Open 100B)からスケールアップした、長距離エージェントタスク用に構築された250B-A15B Mixture-of-Experts言語モデルであるSolar Open 2を提示する。 エージェント全体の軌跡を単一のコンテキストで保持するために、Solar Open 2は、3つのリニアアテンション層間で1つのソフトマックス層をインターリーブするハイブリッドアテンションスタックを介して、1Mのトーケンウィンドウに到達する。 このスケールで一定の計算予算の下でのトレーニングでは、より強力な出発点と高い値のデータという2つの方法でトレーニングを効率化する。 まず最初に、Solar Open 1からSolar Open 2を初期化します。 データに対して、私たちはトークン当たりの価値をキュレートします: 品質と希少性を意識したデータキュレーションと混合比最適化により、20Tプールを10Tミックスに洗練し、トークン予算が等しく、Solar Open 1のレシピよりも優れています。 エージェントスキルを構築するために、目的に構築されたシナリオで12人のドメインスペシャリストをトレーニングし、それをMOPD(Multi-Teacher On-Policy Distillation)によって単一のモデルに統合します。 イングランドのベンチマークで比較可能な大きさのオープンウェイトモデルに対して、Solar Open 2はMMLU-Pro、LiveCodeBench、APEX-Agentsエージェントスイートをリードし、最強(DeepSeek-V4-FlashとMiMo-V2.5)と競争力を維持している。 韓国のベンチマークでは、Solar Open 2は、ファストレートのクローズドAPIを含むどのモデルよりも高い平均を記録しており、韓国の社内オフィスワークエージェントベンチマークであるKo-GDPvalでは、DeepSeek-V4-Pro(1.6T)と6分の1以下で競合している。

関連論文リスト

• MolmoAct2: Action Reasoning Models for Real-world Deployment [67.6315757474802]
  MolmoAct2は、実用的なデプロイメントのために構築された、完全にオープンなアクション推論モデルである。 空間的および具体的推論に特化した VLM バックボーンである MolmoER を紹介する。 低コストプラットフォームにまたがる3つの新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2026-05-04T17:51:21Z)
• Solar Open Technical Report [65.93022715874504]
  Solar Openは、競争力のあるLLMを構築するための体系的な方法論を実証している。 高品質・ドメイン固有・RL指向の4.5Tトークンを合成する。 提案するフレームワークであるSnapPOを効率的な最適化に応用する。
  論文  参考訳（メタデータ） (2026-01-11T18:33:09Z)
• Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data [55.65426108082807]
  Uni-MoE-2.0-Omniをスクラッチから3つのコアコントリビューションで構築しています。 雑用的な理解や、画像、テキスト、音声を生成することができる。
  論文  参考訳（メタデータ） (2025-11-16T14:10:55Z)
• H2O-Danube-1.8B Technical Report [2.6856284636402106]
  本稿では,H2O-Danubeについて述べる。 H2O-Danube2-1.8B は2Bパラメータ範囲以下の全てのモデルで Open LLM Leaderboard でトップランクを獲得している。
  論文  参考訳（メタデータ） (2024-01-30T08:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。