論文の概要: Making LLMs Work for Enterprise Data Tasks

• arxiv url: http://arxiv.org/abs/2407.20256v1
• Date: Mon, 22 Jul 2024 21:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 00:46:38.909544
• Title: Making LLMs Work for Enterprise Data Tasks
• Title（参考訳）: エンタープライズデータタスクでLLMを動作させる
• Authors: Çağatay Demiralp, Fabian Wenz, Peter Baile Chen, Moe Kayali, Nesime Tatbul, Michael Stonebraker,
• Abstract要約: 大規模言語モデル(LLM)は、プライベートデータエコシステムにおけるエンタープライズデータベーステーブルについてほとんど知らない。 LLMのパフォーマンスはトレーニングデータと結びついているので、エンタープライズデータベースの管理と分析タスクを改善する上で、いかに有用かが重要な疑問である。
• 参考スコア（独自算出の注目度）: 4.233865241818131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) know little about enterprise database tables in the private data ecosystem, which substantially differ from web text in structure and content. As LLMs' performance is tied to their training data, a crucial question is how useful they can be in improving enterprise database management and analysis tasks. To address this, we contribute experimental results on LLMs' performance for text-to-SQL and semantic column-type detection tasks on enterprise datasets. The performance of LLMs on enterprise data is significantly lower than on benchmark datasets commonly used. Informed by our findings and feedback from industry practitioners, we identify three fundamental challenges -- latency, cost, and quality -- and propose potential solutions to use LLMs in enterprise data workflows effectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プライベートデータエコシステムにおけるエンタープライズデータベーステーブルについてはほとんど知らない。 LLMのパフォーマンスはトレーニングデータと結びついているので、エンタープライズデータベースの管理と分析タスクを改善する上で、いかに有用かが重要な疑問である。 そこで本研究では,エンタープライズデータセット上でのテキスト・トゥ・SQLとセマンティック・カラム型検出タスクにおけるLLMの性能に関する実験結果について報告する。 企業データにおけるLCMの性能は、一般的なベンチマークデータセットよりも著しく低い。 業界実践者の発見とフィードバックにより、レイテンシ、コスト、品質の3つの根本的な課題を特定し、企業データワークフローにLLMを効果的に使用するための潜在的なソリューションを提案します。

関連論文リスト

• Mind the Data Gap: Bridging LLMs to Enterprise Data Integration [2.7248990920379725]
  本研究では,大規模言語モデル(LLM)に基づく手法の性能が,実世界のデータセットでテストした場合に著しく低下することを示す。 我々は、エンタープライズデータ統合の発見を前進させるために、新しいベンチマークデータセットであるGOBY Benchmarkをリリースする。
  論文  参考訳（メタデータ） (2024-12-29T03:07:20Z)
• Trustworthy and Efficient LLMs Meet Databases [9.243304683497904]
  大規模言語モデル(LLM)をより信頼でき、効率的にすることに大きな注目を集めている。 このチュートリアルでは、このような取り組みを探求し、データベースコミュニティに透明性を持たせる。
  論文  参考訳（メタデータ） (2024-12-23T22:34:40Z)
• Tackling prediction tasks in relational databases with LLMs [1.8434042562191815]
  この研究は、大規模言語モデル(LLM)が関係データベース上で満足な結果を得ることができないという概念に対処する。 最近導入された RelBench ベンチマークを用いて,LLM の簡単な適用さえも,これらのタスクにおける競合性能を実現することを実証した。
  論文  参考訳（メタデータ） (2024-11-18T18:48:13Z)
• Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
  所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。 Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
  論文  参考訳（メタデータ） (2024-10-07T17:59:58Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation [33.41556606816004]
  大規模言語モデル(LLM)は、テキストからタスクへ進むための強力なツールとして登場した。 最適なプロンプトテンプレートと設計フレームワークについてはまだ合意が得られていない。 既存のベンチマークでは、テキスト・ツー・プロセスの様々なサブタスクにまたがるLCMのパフォーマンスが不十分である。
  論文  参考訳（メタデータ） (2024-03-05T13:23:48Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。