論文の概要: The Llama 4 Herd: Architecture, Training, Evaluation, and Deployment Notes

• arxiv url: http://arxiv.org/abs/2601.11659v1
• Date: Thu, 15 Jan 2026 21:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.261272
• Title: The Llama 4 Herd: Architecture, Training, Evaluation, and Deployment Notes
• Title（参考訳）: Llama 4のHard: アーキテクチャ、トレーニング、評価、デプロイメントノート
• Abstract要約: この文書はMetas Llama 4モデルファミリーに関する技術詳細を公表している。 i) リリースされた亜種(Scout と Maverick)とより広い群れの文脈を要約する。 目標は、正確なソース支援の事実を必要とする研究者や実践者に対して、コンパクトな技術的参照を提供することだ。
• 参考スコア（独自算出の注目度）: 584.7162994485712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This document consolidates publicly reported technical details about Metas Llama 4 model family. It summarizes (i) released variants (Scout and Maverick) and the broader herd context including the previewed Behemoth teacher model, (ii) architectural characteristics beyond a high-level MoE description covering routed/shared-expert structure, early-fusion multimodality, and long-context design elements reported for Scout (iRoPE and length generalization strategies), (iii) training disclosures spanning pre-training, mid-training for long-context extension, and post-training methodology (lightweight SFT, online RL, and lightweight DPO) as described in release materials, (iv) developer-reported benchmark results for both base and instruction-tuned checkpoints, and (v) practical deployment constraints observed across major serving environments, including provider-specific context limits and quantization packaging. The manuscript also summarizes licensing obligations relevant to redistribution and derivative naming, and reviews publicly described safeguards and evaluation practices. The goal is to provide a compact technical reference for researchers and practitioners who need precise, source-backed facts about Llama 4.
• Abstract（参考訳）: この文書はMetas Llama 4モデルファミリーに関する技術詳細を公表している。 要約する。 (i)『Scout』と『Maverick』の変種と、プレビュー版『Behemoth』の教師モデルを含むより広い群れの文脈。 (II)Scout(iRoPEおよび長大一般化戦略)に報告された経路/共有・エキスパート構造、早期融合多モード性、長文デザイン要素を含む高レベルのMoE記述を超えるアーキテクチャ特性 三 公開資料に示すように、事前訓練、長期講習の中間講習、研修後方法論(軽量SFT、オンラインRL、軽量DPO)の講習 (iv) 開発者によって報告されたベースおよび命令調整されたチェックポイントのベンチマーク結果、および (v)プロバイダ固有のコンテキスト制限や量子化パッケージングなど、主要なサービス環境にまたがる実践的なデプロイメント制約。 原稿はまた、再配布とデリバティブな命名に関するライセンス義務を要約し、安全と評価の慣行を公に記述している。 Llama 4.0の目標は、正確なソース支援の事実を必要とする研究者や実践者に対して、コンパクトな技術的参照を提供することだ。

関連論文リスト

• From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding [15.376371030121094]
  ReceiptBenchは10万の多様なレシートからなる、大規模で人間による注釈付きベンチマークである。 ReceiptBenchは10万の多様なレシートからなる大規模で人手による注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2026-05-21T12:37:03Z)
• Evaluating Chunking Strategies For Retrieval-Augmented Generation in Oil and Gas Enterprise Documents [0.0]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の制約に対処するフレームワークとして登場した。 本稿では,4つのチャンキング戦略における性能差を定量化する実証的研究について述べる。
  論文  参考訳（メタデータ） (2026-03-25T17:35:24Z)
• ERNIE 5.0 Technical Report [244.36480708815316]
  ERNIE 5.0は、テキスト、画像、ビデオ、オーディオをまたいだ統合されたマルチモーダル理解と生成のための統合された自己回帰基盤モデルである。 ERNIE 5.0は、多様なリソース制約下での大規模デプロイメントの実践的な課題に対処するため、新しい弾力性トレーニングパラダイムを採用している。 ERNIE 5.0は、複数のモードで強い、バランスの取れた性能を実現する。
  論文  参考訳（メタデータ） (2026-02-04T16:18:15Z)
• The Instruction Gap: LLMs get lost in Following Instruction [1.4018975578160686]
  大規模言語モデル(LLM)は、自然言語の理解と生成において顕著な能力を示している。 本研究は,命令順守,応答精度,性能指標を含む13のLLMを総合的に評価する。
  論文  参考訳（メタデータ） (2025-12-19T15:27:52Z)
• AECBench: A Hierarchical Benchmark for Knowledge Evaluation of Large Language Models in the AEC Field [12.465017512854475]
  大規模言語モデル(LLM)は、アーキテクチャ、エンジニアリング、建設(AEC)分野において採用が増えている。 本稿では,AEC領域における現在のLLMの強度と限界を定量化するベンチマークであるAECBenchを確立する。 ベンチマークでは、23の代表的なタスクを5段階の認知指向評価フレームワークで定義している。
  論文  参考訳（メタデータ） (2025-09-23T08:09:58Z)
• Training Plug-n-Play Knowledge Modules with Deep Context Distillation [52.94830874557649]
  本稿では,文書レベルの知識モジュール(KM)をトレーニングすることで,知識をモジュール化する手法を提案する。 KMはパラメータ効率のよいLoRAモジュールとして実装された軽量コンポーネントで、新しいドキュメントに関する情報を格納するように訓練されている。 提案手法は,2つのデータセットにまたがって,標準的な次世代予測および事前指導訓練技術より優れる。
  論文  参考訳（メタデータ） (2025-03-11T01:07:57Z)
• Tulu 3: Pushing Frontiers in Open Language Model Post-Training [94.14908801708049]
  トゥル3(Tulu 3)は、最先端の訓練後モデルである。 Tulu 3はLlama 3.1ベースモデルをベースにしており、Llama 3.1、Qwen 2.5、Mistral、さらにGPT-4o-mini、Claude 3.5-Haikuといったクローズドモデルにも勝っている。
  論文  参考訳（メタデータ） (2024-11-22T18:44:04Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• InFoBench: Evaluating Instruction Following Ability in Large Language Models [57.27152890085759]
  Decomposed Requirements following Ratio (DRFR) は、命令に従うLarge Language Models (LLM) 能力を評価するための新しい指標である。 InFoBenchは500の多様な命令と2250の分解された質問を複数の制約カテゴリに分けたベンチマークである。
  論文  参考訳（メタデータ） (2024-01-07T23:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。