Fugu-MT 論文翻訳(概要): Benchmarking Open-Source Language Models for Efficient Question Answering in Industrial Applications

論文の概要: Benchmarking Open-Source Language Models for Efficient Question Answering in Industrial Applications

arxiv url: http://arxiv.org/abs/2406.13713v1
Date: Wed, 19 Jun 2024 17:11:51 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 18:45:06.737029
Title: Benchmarking Open-Source Language Models for Efficient Question Answering in Industrial Applications
Title（参考訳）: 産業応用における効率的な質問応答のためのオープンソース言語モデルのベンチマーク
Authors: Mahaman Sanoussi Yahaya Alassan, Jessica López Espejel, Merieme Bouhandi, Walid Dahhane, El Hassane Ettifouri,
Abstract要約: 大規模言語モデル (LLM) は質問応答 (QA) のようなタスクにおいて顕著な機能を示した。本稿では,オープンソース LLM とオープンソースでない LLM を比較し,質問応答の課題について総合的なベンチマーク研究を行う。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In the rapidly evolving landscape of Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated remarkable capabilities in tasks such as question answering (QA). However, the accessibility and practicality of utilizing these models for industrial applications pose significant challenges, particularly concerning cost-effectiveness, inference speed, and resource efficiency. This paper presents a comprehensive benchmarking study comparing open-source LLMs with their non-open-source counterparts on the task of question answering. Our objective is to identify open-source alternatives capable of delivering comparable performance to proprietary models while being lightweight in terms of resource requirements and suitable for Central Processing Unit (CPU)-based inference. Through rigorous evaluation across various metrics including accuracy, inference speed, and resource consumption, we aim to provide insights into selecting efficient LLMs for real-world applications. Our findings shed light on viable open-source alternatives that offer acceptable performance and efficiency, addressing the pressing need for accessible and efficient NLP solutions in industry settings.
Abstract（参考訳）: 自然言語処理(NLP)の急速な発展の中で,Large Language Models(LLM)は質問応答(QA)などのタスクにおいて顕著な能力を示した。しかし、これらのモデルを産業用途に活用することのアクセシビリティと実用性は、特にコスト効率、推論速度、資源効率に関する重要な課題を生んでいる。本稿では,オープンソース LLM とオープンソースでない LLM を比較し,質問応答の課題について総合的なベンチマーク研究を行う。我々の目標は、リソース要件の観点から軽量でありながら、プロプライエタリなモデルに匹敵するパフォーマンスを提供することのできるオープンソースの代替品を特定し、CPU(Central Processing Unit)ベースの推論に適合することである。精度,推論速度,資源消費など,さまざまな指標の厳密な評価を通じて,実世界のアプリケーションにおける効率的なLCMの選択に関する洞察を提供することを目指している。私たちの発見は、業界環境でアクセスしやすく効率的なNLPソリューションの必要性に対処するため、許容可能なパフォーマンスと効率を提供する、実行可能なオープンソースの代替手段に光を当てています。

関連論文リスト

A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
論文参考訳（メタデータ） (2024-06-25T07:45:00Z)
Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文参考訳（メタデータ） (2024-06-19T00:28:58Z)
Evaluating the Efficacy of Open-Source LLMs in Enterprise-Specific RAG Systems: A Comparative Study of Performance and Scalability [0.0]
本稿では,オープンソースの大規模言語モデル(LLM)とその検索・拡張生成(RAG)タスクへの応用について述べる。この結果から,オープンソースのLCMと効果的な埋め込み技術が組み合わさって,RAGシステムの精度と効率を大幅に向上させることが示唆された。
論文参考訳（メタデータ） (2024-06-17T11:22:25Z)
Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示す。本稿では,テキストベースの生成IoT(GIoT)システムを提案する。
論文参考訳（メタデータ） (2024-06-14T19:24:00Z)
Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks [12.400599440431188]
自然言語処理(NLP)における情報抽出(IE)の役割英語IEタスクに焦点をあてた最近の実験は、LLM(Large Language Models)が最適性能を達成する上で直面する課題に光を当てている。
論文参考訳（メタデータ） (2024-06-04T08:00:40Z)
Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
大規模テキストコーパスで事前訓練されたLarge Language Models (LLMs) は、推奨システムを強化するための有望な道を示す。オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
論文参考訳（メタデータ） (2024-05-07T04:00:30Z)
Automating Customer Needs Analysis: A Comparative Study of Large Language Models in the Travel Industry [2.4244694855867275]
大規模言語モデル(LLM)は、大量のテキストデータから貴重な洞察を抽出するための強力なツールとして登場した。本研究では,TripAdvisor 投稿から旅行客のニーズを抽出するための LLM の比較分析を行った。特にMistral 7Bは,大規模クローズドモデルに匹敵する性能を示した。
論文参考訳（メタデータ） (2024-04-27T18:28:10Z)
On Leveraging Large Language Models for Enhancing Entity Resolution [11.668263762236343]
本稿では,大規模言語モデル(LLM)を実体分解プロセスで効率的に活用するための戦略を紹介する。当社のアプローチは、予算に制限された消費を維持しながら、最も効果的なマッチング質問を最適に選択します。エントロピーを指標として提案手法の有効性を評価し,提案手法の有効性と有効性について実験的に検証した。
論文参考訳（メタデータ） (2024-01-07T09:06:58Z)
Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models [34.327846901536425]
LLM(Large Language Models)は、計算、メモリ、エネルギー、金融資源の高消費に課題をもたらす。本調査は, LLMの資源効率向上を目的とした多種多様な手法を概観することにより, これらの課題を体系的に解決することを目的としている。
論文参考訳（メタデータ） (2024-01-01T01:12:42Z)
Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。このような最適化では、以前見過ごされたクエリ依存の目的を特定します。本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文参考訳（メタデータ） (2023-09-13T01:12:52Z)
Efficient Methods for Natural Language Processing: A Survey [76.34572727185896]
本研究は, 効率的なNLPにおける現在の手法と知見を合成し, 関連づけるものである。我々は,限られた資源下でNLPを実施するためのガイダンスと,より効率的な手法を開発するための有望な研究方向性の両立を目指す。
論文参考訳（メタデータ） (2022-08-31T20:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。