論文の概要: Observations on LLMs for Telecom Domain: Capabilities and Limitations
- arxiv url: http://arxiv.org/abs/2305.13102v1
- Date: Mon, 22 May 2023 15:04:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 15:04:44.603689
- Title: Observations on LLMs for Telecom Domain: Capabilities and Limitations
- Title（参考訳）: テレコム領域におけるLCMの観測:能力と限界
- Authors: Sumit Soman, Ranjani H G
- Abstract要約: 通信領域の対話インタフェースにそのようなモデルを組み込む能力と限界を解析する。
本稿では,複数のユースケースに対して,そのようなモデルからの応答の比較分析を行う。
この評価は、ドメイン固有の要求に対して、カスタマイズされた対話インターフェースを構築することに従事するデータサイエンティストに有用な洞察を与えるだろうと考えています。
- 参考スコア（独自算出の注目度）: 1.8782750537161614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The landscape for building conversational interfaces (chatbots) has witnessed
a paradigm shift with recent developments in generative Artificial Intelligence
(AI) based Large Language Models (LLMs), such as ChatGPT by OpenAI (GPT3.5 and
GPT4), Google's Bard, Large Language Model Meta AI (LLaMA), among others. In
this paper, we analyze capabilities and limitations of incorporating such
models in conversational interfaces for the telecommunication domain,
specifically for enterprise wireless products and services. Using Cradlepoint's
publicly available data for our experiments, we present a comparative analysis
of the responses from such models for multiple use-cases including domain
adaptation for terminology and product taxonomy, context continuity, robustness
to input perturbations and errors. We believe this evaluation would provide
useful insights to data scientists engaged in building customized
conversational interfaces for domain-specific requirements.
- Abstract（参考訳）: 会話インターフェイス(チャットボット)を構築するための展望は、OpenAI(GPT3.5とGPT4)によるChatGPT、GoogleのBard、Large Language Model Meta AI(LLaMA)など、ジェネレーティブ人工知能(AI)ベースのLarge Language Models(LLM)の最近の発展とともにパラダイムシフトを目撃している。
本稿では,このようなモデルを通信分野,特に企業無線製品やサービスにおける会話インタフェースに組み込む能力と限界について分析する。
本稿では, cradlepoint の公開データを用いて, 用語と製品分類のドメイン適応, 文脈連続性, 入力摂動とエラーに対するロバスト性など, 複数のユースケースに対する応答の比較分析を行った。
この評価は、ドメイン固有の要求のためにカスタマイズされた会話インターフェイスを構築することに携わるデータサイエンティストに有用な洞察を与えると信じています。
関連論文リスト
- Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications [20.36003316123051]
我々は,通信に適した1Bパラメータから8Bパラメータまで,最初の言語モデルであるTele-LLMsを開発し,オープンソース化した。
評価の結果,これらのモデルはTele-Evalの汎用モデルよりも優れており,これまでに獲得した能力を維持していることがわかった。
論文 参考訳（メタデータ） (2024-09-09T03:58:51Z) - CoDi: Conversational Distillation for Grounded Question Answering [10.265241619616676]
我々はCoDiという新しいデータ蒸留フレームワークを導入する。
CoDiを使えば、大規模でアシスタントスタイルのデータセットを、さまざまな方法で合成することができます。
我々は,CoDi合成データを用いてトレーニングしたSLMが,標準的な測定値において,人間の注釈付きデータに基づいてトレーニングしたモデルに匹敵する性能を実現することを示す。
論文 参考訳（メタデータ） (2024-08-20T22:35:47Z) - Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition [48.527630771422935]
複数話者対話型ASRのための合成データ生成パイプラインを提案する。
我々は、電話と遠隔会話音声設定のためのWhisper ASRモデルを微調整して評価を行う。
論文 参考訳（メタデータ） (2024-08-17T14:47:05Z) - Are Large Language Models the New Interface for Data Pipelines? [3.5021689991926377]
言語モデル(Language Model)とは、人間のコミュニケーションを理解し、生成するために設計された様々な種類のモデルを含む用語である。
大規模言語モデル (LLM) は、人間のような流布やコヒーレンスでテキストを処理する能力によって注目されている。
論文 参考訳（メタデータ） (2024-06-06T08:10:32Z) - ChatGPT in the context of precision agriculture data analytics [0.19036571490366497]
精密農業における自動センサのデータ処理パイプラインにChatGPTを統合することは、いくつかのメリットをもたらす可能性がある、と我々は主張する。
本稿では,ChatGPTがリモートサーバのデータベースと対話する3つの方法を示す。
農業データの解析・解釈におけるChatGPTの有効性と有効性について検討した。
論文 参考訳（メタデータ） (2023-11-10T20:44:30Z) - Learning From Free-Text Human Feedback -- Collect New Datasets Or Extend
Existing Ones? [57.16050211534735]
一般的な対話データセットにおける自由文フィードバックのタイプと頻度について検討する。
この結果から, エラータイプ, ユーザ応答タイプ, それらの関係性など, 調査したデータセットの構成に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2023-10-24T12:01:11Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment [58.46761798403072]
モデルベース自動対話評価基準(ADEM)は,複数の領域にわたって良好に機能することが期待される。
大きな進歩にもかかわらず、ある領域でうまく機能するADEMは必ずしも他の領域に一般化するとは限らない。
本稿では,共有トランスフォーマーエンコーダと軽量アダプタの集合からなるPanel of Experts (PoE)ネットワークを提案する。
論文 参考訳（メタデータ） (2022-12-18T02:26:50Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳（メタデータ） (2022-06-22T18:19:32Z) - ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive
Summarization with Argument Mining [61.82562838486632]
我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。
我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
論文 参考訳（メタデータ） (2021-06-01T22:17:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。