Fugu-MT 論文翻訳(概要): Benchmarking Open-Source Language Models for Efficient Question Answering in Industrial Applications

論文の概要: Benchmarking Open-Source Language Models for Efficient Question Answering in Industrial Applications

arxiv url: http://arxiv.org/abs/2406.13713v1
Date: Wed, 19 Jun 2024 17:11:51 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 18:45:06.737029
Title: Benchmarking Open-Source Language Models for Efficient Question Answering in Industrial Applications
Title（参考訳）: 産業応用における効率的な質問応答のためのオープンソース言語モデルのベンチマーク
Authors: Mahaman Sanoussi Yahaya Alassan, Jessica López Espejel, Merieme Bouhandi, Walid Dahhane, El Hassane Ettifouri,
Abstract要約: 大規模言語モデル (LLM) は質問応答 (QA) のようなタスクにおいて顕著な機能を示した。本稿では,オープンソース LLM とオープンソースでない LLM を比較し,質問応答の課題について総合的なベンチマーク研究を行う。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In the rapidly evolving landscape of Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated remarkable capabilities in tasks such as question answering (QA). However, the accessibility and practicality of utilizing these models for industrial applications pose significant challenges, particularly concerning cost-effectiveness, inference speed, and resource efficiency. This paper presents a comprehensive benchmarking study comparing open-source LLMs with their non-open-source counterparts on the task of question answering. Our objective is to identify open-source alternatives capable of delivering comparable performance to proprietary models while being lightweight in terms of resource requirements and suitable for Central Processing Unit (CPU)-based inference. Through rigorous evaluation across various metrics including accuracy, inference speed, and resource consumption, we aim to provide insights into selecting efficient LLMs for real-world applications. Our findings shed light on viable open-source alternatives that offer acceptable performance and efficiency, addressing the pressing need for accessible and efficient NLP solutions in industry settings.
Abstract（参考訳）: 自然言語処理(NLP)の急速な発展の中で,Large Language Models(LLM)は質問応答(QA)などのタスクにおいて顕著な能力を示した。しかし、これらのモデルを産業用途に活用することのアクセシビリティと実用性は、特にコスト効率、推論速度、資源効率に関する重要な課題を生んでいる。本稿では,オープンソース LLM とオープンソースでない LLM を比較し,質問応答の課題について総合的なベンチマーク研究を行う。我々の目標は、リソース要件の観点から軽量でありながら、プロプライエタリなモデルに匹敵するパフォーマンスを提供することのできるオープンソースの代替品を特定し、CPU(Central Processing Unit)ベースの推論に適合することである。精度,推論速度,資源消費など,さまざまな指標の厳密な評価を通じて,実世界のアプリケーションにおける効率的なLCMの選択に関する洞察を提供することを目指している。私たちの発見は、業界環境でアクセスしやすく効率的なNLPソリューションの必要性に対処するため、許容可能なパフォーマンスと効率を提供する、実行可能なオープンソースの代替手段に光を当てています。

関連論文リスト

A Framework for Using LLMs for Repository Mining Studies in Empirical Software Engineering [12.504438766461027]
大規模言語モデル(LLM)は、ソフトウェアリポジトリを分析する革新的な方法を提供することで、ソフトウェア工学(SE)を変革した。私たちの研究は、PRIMES(Prompt Refinement and Insights for Mining Empirical Software repository)というフレームワークをまとめています。この結果,PRIMESの標準化により,LLMを用いた研究の信頼性と精度が向上することが示唆された。
論文参考訳（メタデータ） (2024-11-15T06:08:57Z)
A Survey of Small Language Models [104.80308007044634]
小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
論文参考訳（メタデータ） (2024-10-25T23:52:28Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Automating Customer Needs Analysis: A Comparative Study of Large Language Models in the Travel Industry [2.4244694855867275]
大規模言語モデル(LLM)は、大量のテキストデータから貴重な洞察を抽出するための強力なツールとして登場した。本研究では,TripAdvisor 投稿から旅行客のニーズを抽出するための LLM の比較分析を行った。特にMistral 7Bは,大規模クローズドモデルに匹敵する性能を示した。
論文参考訳（メタデータ） (2024-04-27T18:28:10Z)
Towards Pareto Optimal Throughput in Small Language Model Serving [4.497936996651617]
SLM(Small Language Models)は、リソース制約のあるユーザに対して、新たな機会を提供する。本研究では,SLM推論を性能およびエネルギーレベルで評価するための一連の実験について述べる。
論文参考訳（メタデータ） (2024-04-04T10:45:07Z)
A Review of Multi-Modal Large Language and Vision Models [1.9685736810241874]
大規模言語モデル(LLM)が研究と応用の焦点として登場した。近年、LLMはマルチモーダル大言語モデル(MM-LLM)に拡張されている。本稿では,近年のMM-LLMとともに,マルチモーダル機能を有するLLMの現状を概観する。
論文参考訳（メタデータ） (2024-03-28T15:53:45Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
論文参考訳（メタデータ） (2024-02-21T00:44:04Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
論文参考訳（メタデータ） (2023-08-21T04:31:06Z)
A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文参考訳（メタデータ） (2023-05-31T13:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。