論文の概要: Practitioners' Discussions on Building LLM-based Applications for Production

• arxiv url: http://arxiv.org/abs/2411.08574v1
• Date: Wed, 13 Nov 2024 12:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:09.151696
• Title: Practitioners' Discussions on Building LLM-based Applications for Production
• Title（参考訳）: LLMをベースとした生産用アプリケーション構築に関する実践的考察
• Authors: Alina Mailach, Sebastian Simon, Johannes Dorn, Norbert Siegmund,
• Abstract要約: 大規模言語モデル(LLM)を積極的に開発する実践者から,2022年から2024年までの189本のビデオを収集した。 BERTopicを用いてテキストの解析を行い, 生成したトピックをテーマに手作業でソート, マージし, 8つのテーマで合計20のトピックを抽出した。 最も一般的なトピックは、検索強化世代(RAG)システムに重点を置いて、デザイン・アンド・アーキテクチャ(英語版)というテーマに含まれる。
• 参考スコア（独自算出の注目度）: 6.544757635738911
• License:
• Abstract: \textit{Background}: Large language models (LLMs) have become a paramount interest of researchers and practitioners alike, yet a comprehensive overview of key considerations for those developing LLM-based systems is lacking. This study addresses this gap by collecting and mapping the topics practitioners discuss online, offering practical insights into where priorities lie in developing LLM-based applications. \textit{Method}: We collected 189 videos from 2022 to 2024 from practitioners actively developing such systems and discussing various aspects they encounter during development and deployment of LLMs in production. We analyzed the transcripts using BERTopic, then manually sorted and merged the generated topics into themes, leading to a total of 20 topics in 8 themes. \textit{Results}: The most prevalent topics fall within the theme Design \& Architecture, with a strong focus on retrieval-augmented generation (RAG) systems. Other frequently discussed topics include model capabilities and enhancement techniques (e.g., fine-tuning, prompt engineering), infrastructure and tooling, and risks and ethical challenges. \textit{Implications}: Our results highlight current discussions and challenges in deploying LLMs in production. This way, we provide a systematic overview of key aspects practitioners should be aware of when developing LLM-based applications. We further pale off topics of interest for academics where further research is needed.
• Abstract（参考訳）: \textit{Background}: 大規模言語モデル(LLMs)は研究者や実践者にとって重要な関心事となっているが、LLMベースのシステムを開発する人々にとって重要な考慮事項の包括的概要は欠落している。 本研究は,LLMベースのアプリケーションの開発において,実践者が議論するトピックをオンラインで収集し,マッピングすることで,このギャップに対処する。 \textit{Method}: 私たちは2022年から2024年にかけて,このようなシステムを積極的に開発する実践者から189のビデオを収集しました。 BERTopicを用いてテキストの解析を行い, 生成したトピックをテーマに手作業でソート, マージし, 8つのテーマで合計20のトピックを抽出した。 図1. \textit{Results}: 最も一般的なトピックは、検索強化世代(RAG)システムに強く焦点を絞った、デザイン・アンド・アーキテクチャ(Design \& Architecture)のテーマに該当する。 その他よく議論されるトピックとしては、モデル機能と強化技術(例えば、微調整、迅速なエンジニアリング)、インフラストラクチャとツーリング、リスクと倫理的課題などがある。 \textit{Implications}: LLMを本番環境にデプロイする際の現在の議論と課題に注目します。 このようにして、LLMベースのアプリケーションを開発する際に、実践者が意識すべき重要な側面を体系的に概観する。 我々は、さらなる研究が必要な学者にとっての関心事をさらに軽視する。

関連論文リスト

• An Empirical Study on Challenges for LLM Application Developers [28.69628251749012]
  私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。 2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
  論文  参考訳（メタデータ） (2024-08-06T05:46:28Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• LLMs Meet Multimodal Generation and Editing: A Survey [89.76691959033323]
  本調査では,画像,ビデオ,3D,オーディオなど,さまざまな領域にわたるマルチモーダル生成と編集について詳述する。 これらの分野でのマイルストーンの成果を要約し、これらの研究をLLM法とCLIP/T5法に分類する。 我々は、既存の生成モデルを人間とコンピュータの相互作用に活用できるツール強化マルチモーダルエージェントを掘り下げる。
  論文  参考訳（メタデータ） (2024-05-29T17:59:20Z)
• Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
  広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。 本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
  論文  参考訳（メタデータ） (2024-03-24T17:39:51Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• A Survey on Large Language Models for Software Engineering [15.468484685849983]
  大規模言語モデル(LLM)は、幅広いソフトウェア工学(SE)タスクを自動化するために使われる。 本稿では,LLMを基盤としたSEコミュニティにおける最先端の研究について概説する。
  論文  参考訳（メタデータ） (2023-12-23T11:09:40Z)
• Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
  大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。 コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。 本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
  論文  参考訳（メタデータ） (2023-08-22T12:37:29Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。