論文の概要: Comuniqa : Exploring Large Language Models for improving speaking skills
- arxiv url: http://arxiv.org/abs/2401.15595v1
- Date: Sun, 28 Jan 2024 07:37:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 17:26:09.703411
- Title: Comuniqa : Exploring Large Language Models for improving speaking skills
- Title(参考訳): Comuniqa : 話し方を改善するための大規模言語モデルの検討
- Authors: Manas Mhasakar, Shikhar Sharma, Apurv Mehra, Utkarsh Venaik, Ujjwal
Singhal, Dhruv Kumar, Kashish Mittal
- Abstract要約: 本研究では,Large Language Models (LLMs) の音声能力向上の可能性について検討する。
我々はまず,この課題に対して,新しいLCMベースのシステムComuniqaを提案する。
そして、人間中心のアプローチでこのシステムを評価し、人間の専門家と比較します。
- 参考スコア(独自算出の注目度): 2.9643400150303023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This research paper explores the potential of Large Language Models (LLMs) to
enhance speaking skills. We first present a novel LLM-based system, Comuniqa,
for this task. We then take a humancentric approach to evaluate this system,
comparing it with human experts. We also investigate the possibility of
combining feedback from both LLM and human experts to enhance overall learning
outcomes. We use purposive and random sampling for recruiting participants,
categorizing them into three groups: those who use LLM-enabled apps for
improving speaking skills, those guided by human experts for the same task and
those who utilize both the LLM-enabled apps as well as the human experts. Using
surveys, interviews, and actual study sessions, we provide a detailed
perspective on the effectiveness of different learning modalities. Our
preliminary findings suggest that while LLM-based systems have commendable
accuracy, they lack human-level cognitive capabilities, both in terms of
accuracy and empathy.
- Abstract(参考訳): 本研究では,Large Language Models (LLMs) の音声能力向上の可能性について検討する。
我々はまず,この課題に対して新しいLCMベースのシステムComuniqaを提案する。
そして、人間中心のアプローチでこのシステムを評価し、人間の専門家と比較します。
また,LLMと人的専門家の双方からのフィードバックを組み合わせて総合的な学習結果を高める可能性についても検討した。
被験者の募集にパーポーブとランダムサンプリングを用い,LLM対応アプリを用いて発話スキルを向上させるグループ,同じタスクのために人間専門家が指導するグループ,LLM対応アプリと人間専門家の両方を利用するグループに分類した。
調査,インタビュー,実際の学習セッションを用いて,異なる学習モダリティの有効性に関する詳細な視点を提供する。
予備的な知見は, LLMに基づくシステムでは, 精度と共感の両面において, 人間のレベルの認知能力が欠如していることを示唆している。
関連論文リスト
- SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。
この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
論文 参考訳(メタデータ) (2024-03-13T17:17:48Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Chatbots in Knowledge-Intensive Contexts: Comparing Intent and LLM-Based
Systems [9.982795366770086]
認知アシスタント(CA)は、知識集約的なタスクにおいて、ヒューマンワーカーにコンテキスト認識のサポートを提供する。
自然言語処理(NLP)の最近の進歩により、CAはより柔軟で人間的な方法で会話できるようになる。
LLMベースのCAは、インテントベースのシステムよりも優れたユーザエクスペリエンス、タスク完了率、ユーザビリティ、認識パフォーマンスを示した。
論文 参考訳(メタデータ) (2024-02-07T15:39:07Z) - From Automation to Augmentation: Large Language Models Elevating Essay
Scoring Landscape [14.758096079392674]
本研究では,大規模言語モデル(LLM),特に GPT-4 と細調整 GPT-3.5 が,自動エッセイ評価システムにおける有効性について検討した。
パブリックデータセットとプライベートデータセットの両方で実施した総合的な実験は、LLMベースのAESシステムの顕著な利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2024-01-12T07:50:10Z) - Think Before You Speak: Cultivating Communication Skills of Large
Language Models via Inner Monologue [80.50660775996535]
大規模言語モデル(LLM)は、流動的で一貫性があり多様な応答を生成する。
LLMには重要な能力がない。
応答生成プロセスには,トピック移行,積極的に質問,概念指導,共感,頻繁な5つのコミュニケーションスキルを付加する。
完全なプロセスは、迅速なエンジニアリングとコンテキスト内学習によって達成される。
論文 参考訳(メタデータ) (2023-11-13T16:19:42Z) - MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language
Feedback [78.60644407028022]
我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。
LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。
LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
論文 参考訳(メタデータ) (2023-09-19T15:25:42Z) - Spoken Language Intelligence of Large Language Models for Language
Learning [3.5924382852350902]
教育分野における大規模言語モデル(LLM)の有効性を評価することに注力する。
上記のシナリオにおけるLLMの有効性を評価するために,新しい複数選択質問データセットを提案する。
また,ゼロショット法や少数ショット法など,様々なプロンプト技術の影響についても検討する。
異なる大きさのモデルは、音韻学、音韻学、第二言語習得の概念をよく理解しているが、実世界の問題に対する推論には限界がある。
論文 参考訳(メタデータ) (2023-08-28T12:47:41Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - ElitePLM: An Empirical Study on General Language Ability Evaluation of
Pretrained Language Models [78.08792285698853]
本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。
実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
論文 参考訳(メタデータ) (2022-05-03T14:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。