論文の概要: Apple Intelligence Foundation Language Models: Tech Report 2025
- arxiv url: http://arxiv.org/abs/2507.13575v2
- Date: Tue, 26 Aug 2025 04:02:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-27 15:23:52.408017
- Title: Apple Intelligence Foundation Language Models: Tech Report 2025
- Title（参考訳）: Appleのインテリジェンス基礎言語モデル:技術レポート2025
- Abstract要約: AppleのデバイスやサービスにまたがってAppleのインテリジェンス機能を駆動する2つの基礎言語モデルを紹介します。
どちらのモデルも、責任あるWebクローリングを通じてソースされる大規模なマルチリンガルデータセットとマルチモーダルデータセットに基づいてトレーニングされている。
新しいSwift中心のFoundation Modelsフレームワークでは、ガイド付き生成、制約付きツール呼び出し、LoRAアダプタの微調整が公開されている。
- 参考スコア（独自算出の注目度）: 230.86919268176976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce two multilingual, multimodal foundation language models that power Apple Intelligence features across Apple devices and services: i a 3B-parameter on-device model optimized for Apple silicon through architectural innovations such as KV-cache sharing and 2-bit quantization-aware training; and ii a scalable server model built on a novel Parallel-Track Mixture-of-Experts PT-MoE transformer that combines track parallelism, mixture-of-experts sparse computation, and interleaved global-local attention to deliver high quality with competitive cost on Apple's Private Cloud Compute platform. Both models are trained on large-scale multilingual and multimodal datasets sourced via responsible web crawling, licensed corpora, and high-quality synthetic data, then further refined with supervised fine-tuning and reinforcement learning on a new asynchronous platform. The resulting models support several additional languages while understanding images and executing tool calls. In public benchmarks and human evaluations, both the server model and the on-device model match or surpass comparably sized open baselines. A new Swift-centric Foundation Models framework exposes guided generation, constrained tool calling, and LoRA adapter fine-tuning, allowing developers to integrate these capabilities with a few lines of code. The latest advancements in Apple Intelligence models are grounded in our Responsible AI approach with safeguards like content filtering and locale-specific evaluation, as well as our commitment to protecting our users' privacy with innovations like Private Cloud Compute.
- Abstract（参考訳）: iは、KVキャッシュ共有や2ビット量子化対応トレーニングなどのアーキテクチャ革新を通じて、Appleのシリコン向けに最適化された3Bパラメータオンデバイスモデルであり、iiは、新しいParallel-Track Mixture-of-Experts PT-MoEトランスフォーマー上に構築されたスケーラブルなサーバモデルで、トラック並列性、ミックスオブエキスパートのスパース計算、そしてAppleのPrivate Cloud Computeプラットフォームで競争力のあるコストで高品質なローカライズされたグローバルローカルな注目を提供する。
どちらのモデルも、責任あるWebクローリング、ライセンスされたコーパス、高品質な合成データを通じて、大規模なマルチリンガルデータセットとマルチモーダルデータセットに基づいてトレーニングされ、さらに新しい非同期プラットフォーム上で教師付き微調整および強化学習によって洗練される。
結果のモデルは、イメージを理解し、ツールコールを実行しながら、いくつかの追加言語をサポートする。
公開ベンチマークと人的評価では、サーバモデルとオンデバイスモデルの両方が、比較可能な大きさのオープンベースラインを超えている。
新しいSwift中心のFoundation Modelsフレームワークは、ガイド付き生成、制約付きツール呼び出し、LoRAアダプタの微調整を公開し、開発者はこれらの機能を数行のコードで統合することができる。
Appleのインテリジェンスモデルの最新の進歩は、コンテンツフィルタリングやローカライズ固有の評価といった保護と、Private Cloud Computeのようなイノベーションによるユーザのプライバシ保護へのコミットメントによって、Responsible AIアプローチに根ざしています。
関連論文リスト
- DuoGen: Towards General Purpose Interleaved Multimodal Generation [65.13479486098419]
DuoGenは汎用的なインターリーブ生成フレームワークで、データキュレーション、アーキテクチャ設計、評価に対処する。
我々は、キュレートされた生のWebサイトから書き直されたマルチモーダルな会話を組み合わせることで、大規模で高品質な命令チューニングデータセットを構築する。
2段階の切り離し戦略はまずMLLMをインストラクションチューニングし、次にインターリーブされた画像テキストシーケンスを使用してDiTをアライメントする。
論文 参考訳（メタデータ） (2026-01-31T04:35:15Z) - Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models [78.73992315826035]
ネイティブエージェントインテリジェンスと高い計算効率を調和させる軽量言語モデルであるYoutu-LLMを紹介する。
Youtu-LLMは、スクラッチから体系的に推論と計画能力の育成まで事前訓練されている。
論文 参考訳（メタデータ） (2025-12-31T04:25:11Z) - Towards Building Private LLMs: Exploring Multi-Node Expert Parallelism on Apple Silicon for Mixture-of-Experts Large Language Model [5.395171082357636]
大規模言語モデル(LLM)は、OpenAIのChatGPT、MetaのLlama、DatabricksのDBRXといった進歩とともに、人工知能(AI)に革命をもたらした。
本稿では,個人サービスや小グループサービス用のLLMシステムを構築する際に発生するコストとスケーラビリティの課題について論じる。
AppleのM2 Ultraチップを搭載したMac Studioクラスタは、事前訓練されたDBRXモデルをホストし、高速化するためのコスト効率の高いソリューションとして確立されている。
論文 参考訳（メタデータ） (2025-06-30T09:04:25Z) - Command A: An Enterprise-Ready Large Language Model [180.18356391290172]
コマンドAはエージェント最適化および多言語対応モデルである。
クラス内で最高のRetrieval Augmented Generation機能を提供する。
論文 参考訳（メタデータ） (2025-04-01T12:08:07Z) - PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。
PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。
評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2025-03-15T15:11:17Z) - DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails [12.621656255109546]
本稿では,多言語ガードレール学習のための高品質な合成データを生成するために,ジェネレータとガードレールモデルが逆方向に共進化する新しい2要素強化学習フレームワークを提案する。
実験により、我々のモデルは最先端モデルよりも優れており、LlamaGuard3よりも10%近く改善されていることが示された。
論文 参考訳（メタデータ） (2025-02-07T18:45:03Z) - Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling [128.24325909395188]
InternVL 2.5は、InternVL 2.0上に構築された高度マルチモーダル大規模言語モデル(MLLM)シリーズである。
InternVL 2.5は、GPT-4oやClaude-3.5-Sonnetといった主要な商用モデルと競合する競争力を持つ。
このモデルが、マルチモーダルAIシステムの開発と適用のための新しい標準を設定することで、オープンソースコミュニティに貢献できることを願っています。
論文 参考訳（メタデータ） (2024-12-06T18:57:08Z) - Contextual Augmented Multi-Model Programming (CAMP): A Hybrid Local-Cloud Copilot Framework [8.28588489551341]
本稿では、Retrieval-Augmented Generation(RAG)を用いた局所モデルからなるマルチモデルAI支援プログラミングフレームワークであるCAMPを提案する。
RAGは、コンテキスト認識プロンプト構築を容易にするために、クラウドモデルからコンテキスト情報を取得する。
この方法論は、Appleソフトウェアエコシステム向けに開発されたAI支援プログラミングツールであるCopilot for Xcodeで実現されている。
論文 参考訳（メタデータ） (2024-10-20T04:51:24Z) - Apple Intelligence Foundation Language Models [109.60033785567484]
本報告では、モデルアーキテクチャ、モデルトレーニングに使用されるデータ、トレーニングプロセス、評価結果について述べる。
私たちは、Responsible AIと、モデル開発全体を通して原則がどのように適用されているかに重点を置いています。
論文 参考訳（メタデータ） (2024-07-29T18:38:49Z) - Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。
我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文 参考訳（メタデータ） (2021-04-30T16:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。