論文の概要: LLM-jp-4 Technical Report

• arxiv url: http://arxiv.org/abs/2610.19331v1
• Date: Wed, 14 Oct 2026 00:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.85936
• Title: LLM-jp-4 Technical Report
• Title（参考訳）: LLM-jp-4技術報告
• Abstract要約: 本稿では,透明性と実用性を重視した日本語主権大言語モデル(LLM)のファミリーについて述べる。 LLMs-jp-4は8B密度モデルと32B-A3B混合エキスパートモデルで構成され、どちらも約12兆個のトークンでスクラッチから訓練されている。
• 参考スコア（独自算出の注目度）: 46.016395548519746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents LLM-jp-4, a family of Japanese sovereign large language models (LLMs) developed with an emphasis on transparency, reproducibility, and practical usability. LLM-jp-4 comprises an 8B dense model and a 32B-A3B mixture-of-experts model, both trained from scratch on approximately 12 trillion tokens. To support independent verification and reproduction, we establish explicit criteria for selecting training data, external models, and software, and make the development process publicly available. Evaluation results demonstrate substantial improvements over previous LLM-jp models and competitive performance against open-weight models of similar scale. By documenting the development principles, training procedures, and empirical findings of LLM-jp-4, we aim to provide a reference for future sovereign AI development.
• Abstract（参考訳）: 本稿では, 透明性, 再現性, 実用性を重視したLLM-jp-4を提案する。 LLM-jp-4は8B密度モデルと32B-A3B混合エキスパートモデルで構成され、どちらも約12兆トークンでゼロから訓練されている。 独立した検証と再現を支援するため、トレーニングデータ、外部モデル、ソフトウェアを選択するための明確な基準を確立し、開発プロセスを一般公開する。 評価結果は,従来のLLM-jpモデルよりも大幅に改善され,類似スケールのオープンウェイトモデルに対する競争性能が向上した。 LLM-jp-4の開発原則、訓練手順、実証的な発見を文書化することにより、我々は、将来の主権AI開発への参照を提供することを目指している。

関連論文リスト

• Can LLMs Predict Citation Intent? An Experimental Analysis of In-context Learning and Fine-tuning on Open LLMs [0.464982780843177]
  本研究では,Large Language Models (LLMs) を用いて,文脈内学習と微調整による引用意図の予測を行う。 0, 1-, few-, many-shot プロンプトを用いて, 5つの著名なオープン LLM ファミリーの12種類のモデル変動を評価した。 次に、このモデルを微調整し、SciCiteデータセットで8%、ACL-ARCデータセットで4.3%の相対的なF1スコア改善を実現し、タスク固有適応の意義を実証する。
  論文  参考訳（メタデータ） (2025-02-20T13:45:42Z)
• 7B Fully Open Source Moxin-LLM/VLM -- From Pretraining to GRPO-based Reinforcement Learning Enhancement [41.463611054440435]
  Moxin 7Bは、オープンサイエンス、オープンソース、オープンデータ、オープンアクセスの原則に準拠した、完全にオープンソースのLarge Language Models (LLM) である。 トレーニング済みのコードと設定、トレーニングと微調整のデータセット、中間および最終チェックポイントをリリースします。 実験により, ゼロショット評価, 少数ショット評価, CoT評価など, 各種評価において, 優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-12-08T02:01:46Z)
• Compact Language Models via Pruning and Knowledge Distillation [61.56557874432008]
  ミニトロンモデルでは、スクラッチからのトレーニングに比べてMMLUスコアが最大16%改善している。 すでにトレーニング済みの15Bモデルから8Bと4Bモデルを抽出するには、スクラッチからトレーニングするよりも、モデル毎のトレーニングトークンを最大40倍少なくする必要があります。
  論文  参考訳（メタデータ） (2024-07-19T21:47:57Z)
• InternLM2 Technical Report [159.70692271378581]
  本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。 InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。 InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
  論文  参考訳（メタデータ） (2024-03-26T00:53:24Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。