Solar Open 2 Technical Report
Abstractの概要
Solar Open 2は、長期的なエージェントタスクと韓国語処理の強化を目的に設計された、2500億パラメータ（アクティブ150億）のMixture-of-Experts（MoE）言語モデルである。本レポートによれば、100万トークンのコンテキストウィンドウは、ソフトマックスと線形アテンションを混在させ、位置エンコーディングを排除し、負の固有値を許容するよう線形アテンションの状態ダイナミクスを拡張したハイブリッドアテンションスタックによるものとされている。学習の効率化は、Solar Open 1からの56.9億の互換パラメータの選択的転移、20兆トークンプールから10兆の混合データへの価値志向の厳選、段階的な事前学習カリキュラムとそれに続くエージェントに焦点を当てた事後学習を通じて実現されている。事後学習では、対話、コーディング、オフィスワークのシナリオ全体で12の専門モデルを構築し、マルチティーチャーのオンポリシー蒸留を用いてそれらを1つのモデルに統合している。
新規性
本論文の際立った貢献は、100万コンテキストのハイブリッドアテンションMoEアーキテクチャと、大幅なアーキテクチャ変更を伴う世代間の選択的重み転移を組み合わせたことである。また、マルチティーチャーのオンポリシー蒸留による専門モデルから汎用モデルへの統合スキームを提示し、専用の韓国語オフィスワークエージェントのトレーニングおよび評価パイプラインを導入している。
成果
本レポートは、Solar Open 2がMMLU-Pro、LiveCodeBench、APEX-Agentsなどの一部の英語ベンチマークにおいて同規模のオープンウェイトモデルをリードしつつ、その他のベンチマークでも強力なオープンモデルと競争力を維持していることを示している。韓国語のベンチマークにおいては、高速なクローズドAPIを含む比較対象モデルの中で最高平均スコアを達成している。社内のKo-GDPvalオフィスワークベンチマークでは86.8を記録し、はるかに大規模なDeepSeek-V4-Proと実質的に同等の成績を収め、Solar Open 1から大幅な改善を示している。
論文の注目点
- Solar Open 2は、長いエージェントの軌跡に対応する100万トークンのコンテキストウィンドウをサポートするため、位置エンコーディングなしのソフトマックス/線形アテンションのハイブリッド設計を採用している。
- トレーニングレシピには、Solar Open 1からの56.9億パラメータの選択的再利用、厳選された高価値な事前学習データ、およびマルチティーチャーのオンポリシー蒸留を通じて統合された12の分野別専門モデルが組み合わされている。
- 実証評価により、英語のベンチマークにおける高いパフォーマンスと、特に韓国語における強力なパフォーマンスが示されており、韓国語のオフィスワークエージェントタスクにおいて顕著な向上が見られている。