論文の概要: Instella: Fully Open Language Models with Stellar Performance

• arxiv url: http://arxiv.org/abs/2511.10628v2
• Date: Fri, 14 Nov 2025 02:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 14:38:02.36695
• Title: Instella: Fully Open Language Models with Stellar Performance
• Title（参考訳）: Instella: ステラーパフォーマンスを備えた完全にオープンな言語モデル
• Authors: Jiang Liu, Jialian Wu, Xiaodong Yu, Yusheng Su, Prakamya Mishra, Gowtham Ramesh, Sudhanshu Ranjan, Chaitanya Manem, Ximeng Sun, Ze Wang, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum,
• Abstract要約: Instellaは、完全にオープンな30億のパラメータ言語モデルのファミリーである。 Instinct MI300Xによって開発されたInstellaは、大規模な事前訓練、汎用的な指導チューニング、人間の好みの調整によって開発されている。 Instella-Longは128Kトークンまでのコンテキスト長を扱うことができ、Instella-Mathは教師付き微調整と強化学習によって強化された推論に焦点を当てたモデルである。
• 参考スコア（独自算出の注目度）: 24.52924932842208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示しているが、ハイパフォーマンスなモデルのほとんどは、クローズドソースまたは部分的にオープンであり、透明性と再現性を制限する。 Instellaは、完全にオープンな30億のパラメータ言語モデルで、完全にオープンなデータとコードベースに基づいてトレーニングされています。 AMD Instinct MI300X GPUによって開発されたInstellaは、大規模な事前学習、汎用的な命令チューニング、人間の好みの調整によって開発されている。 現代の多くのモデルと比べて、トレーニング前のトークンは大幅に少ないが、Instellaは、完全にオープンなモデルの中で最先端の結果を達成し、同等サイズの主要なオープンウェイトモデルと競合する。 Instella-Longは128Kトークンまでコンテキスト長を扱うことができ、Instella-Mathは数学的タスクの教師付き微調整と強化学習によって強化された推論に焦点を当てたモデルである。 これらの貢献により、Instellaは、オープンで再現可能な言語モデリング研究の目標を推し進め、コミュニティにとって透明で、パフォーマンスが高く、多目的な代替品として確立された。

関連論文リスト

• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Ola: Pushing the Frontiers of Omni-Modal Language Model [88.72389428177942]
  我々はOlaについて述べる。Olaは、画像、ビデオ、音声の理解間での競合性能を実現するオムニモーダル言語モデルである。 Olaは、いくつかの重要かつ効果的な改善を通じて、高度な視覚的理解と音声認識機能を備えている。 我々は、Olaを、この新興分野における将来の研究を進めるための、完全にオープンなオムニモーダル理解ソリューションにすることを目指している。
  論文  参考訳（メタデータ） (2025-02-06T18:59:55Z)
• Arcee's MergeKit: A Toolkit for Merging Large Language Models [0.6374098147778188]
  MergeKitは、任意のハードウェア上でモデルを効率的にマージするためのフレームワークである。 これまで、何千ものモデルがオープンソースコミュニティによってマージされてきた。
  論文  参考訳（メタデータ） (2024-03-20T02:38:01Z)
• MindLLM: Pre-training Lightweight Large Language Model from Scratch, Evaluations and Domain Applications [46.337078949637345]
  我々は、スクラッチから訓練されたバイリンガル軽量な大規模言語モデルの新しいシリーズであるMindLLMを紹介する。 大規模なモデル開発で得られた経験の詳細な説明が与えられ、プロセスのすべてのステップをカバーする。 MindLLMは、いくつかの公開ベンチマークにおいて、他のオープンソースの大規模モデルのパフォーマンスと一貫して一致または上回っている。
  論文  参考訳（メタデータ） (2023-10-24T12:22:34Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。