論文の概要: Apertus 1.5: From Open Text Models to Open Multimodal Reasoners

• arxiv url: http://arxiv.org/abs/2610.15542v1
• Date: Sun, 11 Oct 2026 11:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 18:03:07.722926
• Title: Apertus 1.5: From Open Text Models to Open Multimodal Reasoners
• Title（参考訳）: Apertus 1.5: オープンテキストモデルからオープンマルチモーダル推論まで
• Abstract要約: Apertus 1.5は、完全にオープンなApertusファミリーをテキストからマルチモーダル推論まで拡張している。 マルチモーダリティはトークン化子を通して入力され、言語モデルヘッドはテキストに制限され、アーキテクチャは変わらない。
• 参考スコア（独自算出の注目度）: 148.09760591577466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are becoming infrastructure, and infrastructure built in the open, by public institutions, on documented data, is the alternative to dependence on a few providers; Apertus shows this is viable at scale. Apertus 1.5 extends the fully open Apertus family from text to multimodal reasoning. Continued pretraining of the Apertus 1.0 models, on 4T additional tokens for the 8B and 2T for the 70B, adds image and audio understanding and extends the context window fourfold to 262,144 tokens; multimodality enters through the tokenizer, the language-model head remains restricted to text, and the architecture is unchanged. Supervised finetuning, long-context finetuning, reinforcement learning with verifiable rewards, and preference alignment complete the released models. Thinking is a flag of the chat template rather than a separate model, and lifts mathematical reasoning by up to 20 points on the 8B model. The released models improve over their predecessors on nearly every benchmark; among fully open models of its class, the 8B leads on knowledge, instruction following, and cultural benchmarks, and its instruction following surpasses all compared models, including open-weight ones. On image and audio understanding, a first for the family, the models are competitive with fully open multimodal models, strongest on document understanding and long-form and lower-resource speech recognition, while specialized vision and audio models remain ahead on perception and transcription of English and other high-resource languages. As in Apertus 1.0, we train only on openly available data, respect crawler opt-outs retroactively, and exclude restrictively licensed material. We release the model weights, data preparation and training recipes, and evaluation suites under permissive licenses; openness extends to values, with the Apertus charter guiding alignment stages published alongside the models.
• Abstract（参考訳）: 言語モデルはインフラストラクチャになりつつあり、公共機関によって、文書化されたデータに基づいて、オープンに構築されたインフラストラクチャは、いくつかのプロバイダへの依存に代わるものだ。 Apertus 1.5は、完全にオープンなApertusファミリーをテキストからマルチモーダル推論まで拡張している。 Apertus 1.0モデルの事前トレーニングが継続され、70B用の8Bと2T用の4T追加トークンが加わり、画像と音声の理解が追加され、コンテキストウィンドウが4倍に拡張され、262,144トークンに拡張された。 修正された微調整、長いコンテキストの微調整、検証可能な報酬付き強化学習、および優先アライメントがリリースされたモデルを完成させる。 思考は、別のモデルではなくチャットテンプレートのフラグであり、数学的な推論を8Bモデル上で最大20ポイント引き上げる。 リリースされたモデルは、ほぼすべてのベンチマークで前モデルよりも改善されており、そのクラスの完全にオープンなモデルの中で、8Bは知識、命令フォロー、文化的ベンチマークを導いており、その指示はオープンウェイトなモデルを含む全ての比較されたモデルを上回っている。 画像と音声の理解は、家族にとって初めての、完全にオープンなマルチモーダルモデルと競合し、文書理解と長文および低音源の音声認識に最強であり、一方、特殊な視覚と音声モデルは、英語や他の高音源言語の認識と転写に先んじている。 Apertus 1.0と同様に、オープンに利用可能なデータのみをトレーニングし、クローラのオプトアウトを遡及的に尊重し、制限されたライセンス資料を除外します。 モデルのウェイト、データ準備、トレーニングのレシピ、評価スイートをパーミッシブライセンスでリリースし、オープン性は価値にまで拡張され、Apertusのチャーターは、モデルと一緒にアライメントステージを公開します。

関連論文リスト

• DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search [2.0669978569487384]
  英語の教師が翻訳学習を通して多言語検索にどのように移行するかを示す。 我々はまず、34の公開ソースにわたる1.4Bペアから665万の英語コントラスト事前学習ペアを再構築し、キュレートした。 検証された英語データを8言語に翻訳し、2.8B対の言語間サンプルを生成する。
  論文  参考訳（メタデータ） (2026-07-29T17:50:51Z)
• Apertus: Democratizing Open and Compliant LLMs for Global Language Environments [163.70368742538187]
  Apertusは、今日のオープンモデルエコシステムにおける2つのシステム的欠点に対処するために設計された、大きな言語モデル(LLM)の完全なオープンスイートである。 Apertusモデルは、公開データにのみ事前訓練されており、ロボット.txtの除外や、非許容的で有毒で個人が特定可能なコンテンツに対するフィルタリングを尊重している。 Apertusモデルはまた、1800以上の言語から15Tトークンをトレーニングし、非英語コンテンツに割り当てられた事前トレーニングデータの40%をトレーニングしている。
  論文  参考訳（メタデータ） (2025-09-17T17:59:21Z)
• Ola: Pushing the Frontiers of Omni-Modal Language Model [88.72389428177942]
  我々はOlaについて述べる。Olaは、画像、ビデオ、音声の理解間での競合性能を実現するオムニモーダル言語モデルである。 Olaは、いくつかの重要かつ効果的な改善を通じて、高度な視覚的理解と音声認識機能を備えている。 我々は、Olaを、この新興分野における将来の研究を進めるための、完全にオープンなオムニモーダル理解ソリューションにすることを目指している。
  論文  参考訳（メタデータ） (2025-02-06T18:59:55Z)
• Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
  スケーリング法則は、言語モデルのサイズと能力の関係を記述している。 我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。 7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
  論文  参考訳（メタデータ） (2024-04-08T11:11:31Z)
• Multilingual E5 Text Embeddings: A Technical Report [63.503320030117145]
  異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。 そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
  論文  参考訳（メタデータ） (2024-02-08T13:47:50Z)
• The Falcon Series of Open Language Models [36.93493444130304]
  さまざまな高品質コーパスで訓練された因果デコーダのみのモデルとして,7B,40B,180Bというファルコンシリーズを紹介した。 最大のモデルであるFalcon-180Bは3.5兆個のテキストトークンで訓練されている。 Falcon-180B は PaLM や Chinchilla などのモデルよりも優れており、LLaMA 2 や Inflection-1 のような同時開発モデルでも改善されている。
  論文  参考訳（メタデータ） (2023-11-28T15:12:47Z)
• Internet-augmented language models through few-shot prompting for open-domain question answering [6.573232954655063]
  私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。 Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。 ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-10T02:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。