論文の概要: Kolibri: A Sovereign European Model on the Pareto Frontier

• arxiv url: http://arxiv.org/abs/2610.31945v1
• Date: Thu, 22 Oct 2026 21:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.300737
• Title: Kolibri: A Sovereign European Model on the Pareto Frontier
• Title（参考訳）: Kolibri:Paretoフロンティアの厳格なヨーロッパモデル
• Abstract要約: 本報告では,Apache 2.0ライセンスの下でオープンウェイトとしてリリースされた,78.1Bの合計パラメータと3.46Bのアクティブパラメータを備えた,英語とドイツ語の混合専門家変換器であるKolibriを紹介する。 我々は、主権と専門的な展開のために、特にドイツと公共行政、産業、航空宇宙といった規制された領域に焦点を当てて、Kolibriを構築しました。 私たちはKolibriを24Tトークンでトレーニングし、事前トレーニング、中級トレーニング、長期コンテキスト拡張を行います。
• 参考スコア（独自算出の注目度）: 37.66126257112681
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This report introduces Kolibri, an English-German mixture-of-experts transformer with 78.1B total parameters and 3.46B active parameters per token, released as open weights under the Apache 2.0 licence. We built Kolibri for sovereign and specialised deployment, with a particular focus on German and on regulated domains such as public administration, industry, and aerospace. To support these settings, we control the full model-development process, including data, architecture, training infrastructure, post-training, and evaluation. We train Kolibri on 24T tokens across pre-training, mid-training, and long-context extension, with German accounting for more than 20% of the data mix by bytes. To reach this share, we complement German datasets with more than 2T German tokens that we curate from the web with our own pipeline and generate synthetically. Post-training combines supervised fine-tuning on curated German and English data with reinforcement learning on more than 1.2M internally curated tasks, which cover reasoning, tool use, instruction following, code, and retrieval. The model activates 4.4% of its parameters per token, and among the open models evaluated in this report, it lies on the Pareto frontier of quality and serving cost in English and German. Kolibri builds on Kolibri Origin, an earlier iteration that validated our full pipeline at scale. Both models come from our Model Factory, which connects data, experimentation, training, evaluation, and deployment through version-controlled workflows.
• Abstract（参考訳）: 本報告では,Apache 2.0ライセンスの下でオープンウェイトとしてリリースされた,78.1Bの合計パラメータと3.46Bのアクティブパラメータを備えた,英語とドイツ語の混合専門家変換器であるKolibriを紹介する。 我々は、主権と専門的な展開のために、特にドイツと公共行政、産業、航空宇宙といった規制された領域に焦点を当てて、Kolibriを構築しました。 これらの設定をサポートするために、データ、アーキテクチャ、トレーニングインフラストラクチャ、ポストトレーニング、評価を含む完全なモデル開発プロセスを制御する。 私たちはKolibriを24Tトークンでトレーニングし、事前トレーニング、中級トレーニング、長期コンテキスト拡張を行います。 このシェアを獲得するために、ドイツのデータセットを2T以上のドイツのトークンで補完し、Webから独自のパイプラインでキュレートし、合成的に生成します。 ポストトレーニングでは、ドイツ語と英語のデータによる教師付き微調整と、推論、ツールの使用、指示の追従、コード、検索を含む1.2M以上の内部的キュレートされたタスクの強化学習が組み合わされている。 このモデルはトークン当たりのパラメータの4.4%を活性化し、このレポートで評価されたオープンモデルのうち、パレート・フロンティア(Pareto Frontier)の質と費用を英語とドイツ語で表している。 KolibriはKolibri Originをベースとしています。 どちらのモデルも、バージョン管理ワークフローを通じてデータ、実験、トレーニング、評価、デプロイメントを接続するModel Factoryのものです。

関連論文リスト

• Parameter-Efficient Retrievers for Polish and European Languages [0.018947288891217693]
  本稿では,コンパクトかつ効率的なレトリバー開発のための3段階トレーニングパイプラインを提案する。 このパイプラインは、言語間のアライメント、関係知識の蒸留、および対照的な微調整を組み合わせたものである。 PolDenseとEuroDenseを開発し、最大8,192個のトークンのコンテキストをサポートする。
  論文  参考訳（メタデータ） (2026-09-11T14:41:26Z)
• A Sovereign, Open-Source Foundation Model for German and English [50.08096276509294]
  Soofi S 30B-A3B(ソフィー S 30B-A3B)は、ドイツのマムバ・トランスフォーマー・ファウンデーション・モデルである。 そのハイブリッド設計はトークン毎に30Bパラメータの3Bのみを起動し、コンテキストが大きくなるにつれて推論キャッシュをほぼ一定に保ちます。
  論文  参考訳（メタデータ） (2026-07-10T13:51:41Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• The Falcon Series of Open Language Models [36.93493444130304]
  さまざまな高品質コーパスで訓練された因果デコーダのみのモデルとして,7B,40B,180Bというファルコンシリーズを紹介した。 最大のモデルであるFalcon-180Bは3.5兆個のテキストトークンで訓練されている。 Falcon-180B は PaLM や Chinchilla などのモデルよりも優れており、LLaMA 2 や Inflection-1 のような同時開発モデルでも改善されている。
  論文  参考訳（メタデータ） (2023-11-28T15:12:47Z)
• BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
  本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。 Transformerに基づいて、いくつかの有効な変種を適用します。 本システムでは,0.810と0.946のCOMETスコアを達成している。
  論文  参考訳（メタデータ） (2022-11-28T02:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。