論文の概要: Llama 2: Open Foundation and Fine-Tuned Chat Models

• arxiv url: http://arxiv.org/abs/2307.09288v2
• Date: Wed, 19 Jul 2023 17:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 10:57:19.646452
• Title: Llama 2: Open Foundation and Fine-Tuned Chat Models
• Title（参考訳）: Llama 2: オープンファウンデーションとファインチューニングされたチャットモデル
• Authors: Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov and Soumya Batra and Prajjwal Bhargava and Shruti Bhosale and Dan Bikel and Lukas Blecher and Cristian Canton Ferrer and Moya Chen and Guillem Cucurull and David Esiobu and Jude Fernandes and Jeremy Fu and Wenyin Fu and Brian Fuller and Cynthia Gao and Vedanuj Goswami and Naman Goyal and Anthony Hartshorn and Saghar Hosseini and Rui Hou and Hakan Inan and Marcin Kardas and Viktor Kerkez and Madian Khabsa and Isabel Kloumann and Artem Korenev and Punit Singh Koura and Marie-Anne Lachaux and Thibaut Lavril and Jenya Lee and Diana Liskovich and Yinghai Lu and Yuning Mao and Xavier Martinet and Todor Mihaylov and Pushkar Mishra and Igor Molybog and Yixin Nie and Andrew Poulton and Jeremy Reizenstein and Rashi Rungta and Kalyan Saladi and Alan Schelten and Ruan Silva and Eric Michael Smith and Ranjan Subramanian and Xiaoqing Ellen Tan and Binh Tang and Ross Taylor and Adina Williams and Jian Xiang Kuan and Puxin Xu and Zheng Yan and Iliyan Zarov and Yuchen Zhang and Angela Fan and Melanie Kambadur and Sharan Narang and Aurelien Rodriguez and Robert Stojnic and Sergey Edunov and Thomas Scialom
• Abstract要約: Llama 2は、事前訓練と微調整を施した大規模言語モデル(LLM)のコレクションである。 Llama 2-Chatと呼ばれる細調整 LLM は対話のユースケースに最適化されている。
• 参考スコア（独自算出の注目度）: 65.43397761706336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.
• Abstract（参考訳）: 本研究では,70億から70億のパラメータを対象とした事前学習および微調整された大規模言語モデル(llm)のコレクションであるllama 2を開発し,リリースする。 Llama 2-Chatと呼ばれる細調整 LLM は対話のユースケースに最適化されている。 私たちのモデルは、テストしたほとんどのベンチマークにおいて、オープンソースのチャットモデルよりも優れています。 我々は,llama 2-chatの微調整と安全性の向上に関する我々のアプローチを詳細に説明し,コミュニティによる作業の構築とllmの責任ある開発への貢献を可能にする。

関連論文リスト

• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• FuseChat: Knowledge Fusion of Chat Models [35.90957231731829]
  チャットLLMの知識融合のための新しいフレームワークを提案する。 我々は, OpenChat-3.5-7B, Starling-LM-7B-alpha, NH2-SOLAR-10.7B, InternLM2-Chat-20B, Mixtral-8x7B-Instruct, Qwen-1.5-Chat-72B の6つの著名なチャット LLM を用いて,FuseChat の実装と検証を行った。
  論文  参考訳（メタデータ） (2024-08-15T07:37:24Z)
• Retrieval-augmented code completion for local projects using large language models [0.0]
  我々は,局所的な実行に適した約1億6000万のパラメータを持つ大規模言語モデル (LLM) の利用に注力する。 我々は、オープンソースのPythonファイル上に、トランスフォーマーアーキテクチャ、生成モデルGPT-2と検索適応RETROモデルに基づく2つのモデルをトレーニングする。 トークンのジャカード類似性に基づいてコードスニペットを検索するIn-context Search-augmented Generationを用いて、モデルの性能を改善する。
  論文  参考訳（メタデータ） (2024-08-09T12:26:57Z)
• Gemma: Open Models Based on Gemini Research and Technology [128.57714343844074]
  Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。 Gemmaモデルは、言語理解、推論、安全性のための学術ベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-13T06:59:16Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• TigerBot: An Open Multilingual Multitask LLM [7.413477227090228]
  大型言語モデル(LLM)のTigerBotファミリをリリースし紹介する。 Llama-2とBLOOMをベースとしたモデルを開発し、データ、トレーニングアルゴリズム、インフラストラクチャ、アプリケーションツールの境界をさらに進める。 TigerBotモデルファミリは、主要な学術的、産業的なベンチマークやリーダーボードでも主要なパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-12-14T07:05:42Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• Chain-of-Thought Hub: A Continuous Effort to Measure Large Language Models' Reasoning Performance [35.38549845444575]
  Chain-of-Thought Hubは、大規模な言語モデルの多段階推論機能に関するオープンソースの評価スイートである。 提案するChain-of-Thought Hubは,大規模言語モデルの多段階推論機能に関するオープンソース評価スイートである。
  論文  参考訳（メタデータ） (2023-05-26T23:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。