論文の概要: The Llama 3 Herd of Models

• arxiv url: http://arxiv.org/abs/2407.21783v3
• Date: Sat, 23 Nov 2024 23:27:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:34.625045
• Title: The Llama 3 Herd of Models
• Title（参考訳）: Llama 3のモデル群
• Abstract要約: 本稿ではLlama 3と呼ばれる新しい基礎モデルについて述べる。 Llama 3は、多言語性、コーディング、推論、ツール使用をサポートする言語モデルの群れである。 Llama 3は、GPT-4のような主要な言語モデルに匹敵する品質を多くのタスクで提供しています。
• 参考スコア（独自算出の注目度）: 356.6353861669039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirical evaluation of Llama 3. We find that Llama 3 delivers comparable quality to leading language models such as GPT-4 on a plethora of tasks. We publicly release Llama 3, including pre-trained and post-trained versions of the 405B parameter language model and our Llama Guard 3 model for input and output safety. The paper also presents the results of experiments in which we integrate image, video, and speech capabilities into Llama 3 via a compositional approach. We observe this approach performs competitively with the state-of-the-art on image, video, and speech recognition tasks. The resulting models are not yet being broadly released as they are still under development.
• Abstract（参考訳）: 現代の人工知能(AI)システムは基礎モデルによって駆動される。 本稿ではLlama 3と呼ばれる新しい基礎モデルについて述べる。 多言語性、コーディング、推論、ツールの使用をネイティブにサポートする言語モデルの群れである。 私たちの最大のモデルは、405Bパラメータと最大128Kトークンのコンテキストウィンドウを持つ高密度トランスフォーマーです。 本報告ではLlama 3の広範な評価について述べる。 Llama 3は、GPT-4のような主要な言語モデルに匹敵する品質を多くのタスクで提供しています。 Llama 3には405Bパラメータ言語モデルとLlama Guard 3モデルの事前訓練後バージョンが含まれています。 また,Llama 3に画像,映像,音声の機能を組み込む実験を行った。 我々は,この手法が画像,ビデオ,音声認識タスクの最先端技術と競合する様子を観察する。 結果として得られたモデルは、まだ開発中であるため、まだ広くリリースされていない。

関連論文リスト

• Unified Pix Token And Word Token Generative Language Model [1.5469452301122175]
  生成言語モデルにピクセルトークンとワードトークンを統一する新しいモデルを提案する。 新たなモデルでは、各ピクセルに独自のトークン埋め込み、カラー折り畳み、グローバルなコンディショナルアテンション近似、教師なし事前トレーニングを備えている。
  論文  参考訳（メタデータ） (2026-05-13T18:38:51Z)
• Improved Alignment of Modalities in Large Vision Language Models [1.4561960744147884]
  本稿では,自動回帰視覚言語モデルの学習戦略を提案する。 視覚モデルを言語モデルと整合させるための4つの訓練段階を提案する。 また、トランスフォーマーベースの言語モデルをトレーニングするための異なる注意マスクも考案した。
  論文  参考訳（メタデータ） (2025-03-25T09:59:46Z)
• The Best of Both Worlds: Integrating Language Models and Diffusion Models for Video Generation [53.837937703425794]
  LanDiffは、自己回帰言語モデルと拡散モデルの強みを相乗化するハイブリッドフレームワークである。 本アーキテクチャでは,(1)効率的なセマンティック圧縮により3次元視覚特徴をコンパクトな1次元表現に圧縮するセマンティック・トークンー,(2)高レベルのセマンティックな関係を持つセマンティック・トークンを生成する言語モデル,(3)粗いセマンティクスを高忠実なビデオに洗練するストリーミング拡散モデルを紹介する。
  論文  参考訳（メタデータ） (2025-03-06T16:53:14Z)
• Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
  本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
  論文  参考訳（メタデータ） (2024-12-11T23:36:20Z)
• DiCoDe: Diffusion-Compressed Deep Tokens for Autoregressive Video Generation with Language Models [72.24305287508474]
  自動回帰方式で言語モデルでビデオを生成する新しいアプローチであるDiCoDeを紹介する。 ビデオを時間的シーケンスとして扱うことで、DiCoDeは自動回帰生成のための言語モデルの能力を完全に活用する。 我々は,DiCoDeを定量的かつ質的に評価し,既存の手法と品質の両立性を実証した。
  論文  参考訳（メタデータ） (2024-12-05T18:57:06Z)
• MUSE-VL: Modeling Unified VLM through Semantic Discrete Encoding [6.538592344967826]
  本稿では,MUSE-VL(Unified Vision-Language Model Semantic)を紹介する。 提案手法は,従来のSOTA Emu3に比べて4.8%向上し,LLaVA-NeXT 34Bを3.7%上回った。
  論文  参考訳（メタデータ） (2024-11-26T03:33:52Z)
• EVLM: An Efficient Vision-Language Model for Visual Understanding [18.794601813330715]
  本稿では,計算コストを最小化する効率的なマルチモーダル言語モデルを提案する。 画像キャプションやビデオキャプションといったタスクにおいて,公開マルチモーダルベンチマークの競合スコアを達成し,良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-07-19T10:09:51Z)
• Octopus v3: Technical Report for On-device Sub-billion Multimodal AI Agent [10.998608318944985]
  マルチモーダルAIエージェントは、さまざまなタイプのデータから処理および学習する能力によって特徴付けられる。 本稿では,AIエージェントアプリケーション用に設計された関数トークンの概念を取り入れたマルチモーダルモデルを提案する。 我々はこのモデルがRaspberry Piのように制約のある幅広いエッジデバイス上で効率的に動作可能であることを実証した。
  論文  参考訳（メタデータ） (2024-04-17T15:07:06Z)
• Language Model Guided Interpretable Video Action Reasoning [32.999621421295416]
  我々はLanguage-guided Interpretable Action Recognition framework (LaIAR)という新しいフレームワークを提案する。 LaIARは、言語モデルからの知識を活用して、認識能力とビデオモデルの解釈可能性の両方を強化する。 本質的には、ビデオモデルと言語モデルを整合させるタスクとして、ビデオモデル決定を理解することの問題を再定義する。
  論文  参考訳（メタデータ） (2024-04-02T02:31:13Z)
• Revisiting Topic-Guided Language Models [20.21486464604549]
  4つのトピック誘導言語モデルと2つのベースラインについて検討し、4つのコーパス上で各モデルの保留予測性能を評価する。 これらの手法はいずれも標準のLSTM言語モデルのベースラインを上回りません。
  論文  参考訳（メタデータ） (2023-12-04T20:33:24Z)
• Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning [60.26952378997713]
  コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。 パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。 既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T14:12:08Z)
• Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
  SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
  論文  参考訳（メタデータ） (2022-09-29T01:35:57Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
  本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。 我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。 その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-04-15T13:02:33Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。