論文の概要: Comuniqa : Exploring Large Language Models for improving speaking skills
- arxiv url: http://arxiv.org/abs/2401.15595v1
- Date: Sun, 28 Jan 2024 07:37:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 17:26:09.703411
- Title: Comuniqa : Exploring Large Language Models for improving speaking skills
- Title(参考訳): Comuniqa : 話し方を改善するための大規模言語モデルの検討
- Authors: Manas Mhasakar, Shikhar Sharma, Apurv Mehra, Utkarsh Venaik, Ujjwal
Singhal, Dhruv Kumar, Kashish Mittal
- Abstract要約: 本研究では,Large Language Models (LLMs) の音声能力向上の可能性について検討する。
我々はまず,この課題に対して,新しいLCMベースのシステムComuniqaを提案する。
そして、人間中心のアプローチでこのシステムを評価し、人間の専門家と比較します。
- 参考スコア(独自算出の注目度): 2.9643400150303023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This research paper explores the potential of Large Language Models (LLMs) to
enhance speaking skills. We first present a novel LLM-based system, Comuniqa,
for this task. We then take a humancentric approach to evaluate this system,
comparing it with human experts. We also investigate the possibility of
combining feedback from both LLM and human experts to enhance overall learning
outcomes. We use purposive and random sampling for recruiting participants,
categorizing them into three groups: those who use LLM-enabled apps for
improving speaking skills, those guided by human experts for the same task and
those who utilize both the LLM-enabled apps as well as the human experts. Using
surveys, interviews, and actual study sessions, we provide a detailed
perspective on the effectiveness of different learning modalities. Our
preliminary findings suggest that while LLM-based systems have commendable
accuracy, they lack human-level cognitive capabilities, both in terms of
accuracy and empathy.
- Abstract(参考訳): 本研究では,Large Language Models (LLMs) の音声能力向上の可能性について検討する。
我々はまず,この課題に対して新しいLCMベースのシステムComuniqaを提案する。
そして、人間中心のアプローチでこのシステムを評価し、人間の専門家と比較します。
また,LLMと人的専門家の双方からのフィードバックを組み合わせて総合的な学習結果を高める可能性についても検討した。
被験者の募集にパーポーブとランダムサンプリングを用い,LLM対応アプリを用いて発話スキルを向上させるグループ,同じタスクのために人間専門家が指導するグループ,LLM対応アプリと人間専門家の両方を利用するグループに分類した。
調査,インタビュー,実際の学習セッションを用いて,異なる学習モダリティの有効性に関する詳細な視点を提供する。
予備的な知見は, LLMに基づくシステムでは, 精度と共感の両面において, 人間のレベルの認知能力が欠如していることを示唆している。
関連論文リスト
- SPL: A Socratic Playground for Learning Powered by Large Language Model [5.383689446227398]
ソクラティック・プレイグラウンド・フォー・ラーニング (SPL) は GPT-4 をベースとした対話型プレイグラウンドである。
SPLは、個人のニーズに合わせてパーソナライズされた適応的な学習体験を強化することを目的としている。
論文 参考訳(メタデータ) (2024-06-20T01:18:52Z) - CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。
我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。
CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文 参考訳(メタデータ) (2024-04-10T00:25:09Z) - SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。
この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
論文 参考訳(メタデータ) (2024-03-13T17:17:48Z) - Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - Rethinking Mutual Information for Language Conditioned Skill Discovery
on Imitation Learning [36.624923972563415]
我々はLanguage Conditioned Skill Discovery (LCSD)として知られるエンドツーエンドの模倣学習手法を提案する。
ベクトル量子化を利用して離散潜在スキルを学習し、軌跡のスキルシーケンスを活用して高レベルの意味的命令を再構築する。
提案手法は,未確認タスクに対する一般化能力の向上,スキル解釈性の向上,タスク完了の成功率の向上などを示す。
論文 参考訳(メタデータ) (2024-02-27T13:53:52Z) - Conversational Assistants in Knowledge-Intensive Contexts: An Evaluation of LLM- versus Intent-based Systems [8.88228247647452]
言語モデル(LLM)により、会話アシスタント(CA)はより柔軟で人間的な方法で会話できる。
LLMは、インテントベースのシステムよりも優れたユーザエクスペリエンス、タスク完了率、ユーザビリティ、認識パフォーマンスを示した。
論文 参考訳(メタデータ) (2024-02-07T15:39:07Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳(メタデータ) (2024-01-04T11:27:48Z) - Think Before You Speak: Cultivating Communication Skills of Large Language Models via Inner Monologue [73.69510478736483]
大規模言語モデル(LLM)は、流動的で一貫性があり多様な応答を生成する。
しかし、それらは重要な能力、コミュニケーションスキルを欠いている。
本稿は,内的モノローグによるLLMのコミュニケーション能力向上を目的としている。
実験の結果,提案したCSIM戦略はバックボーンモデルを改善し,ベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-11-13T16:19:42Z) - Spoken Language Intelligence of Large Language Models for Language
Learning [3.5924382852350902]
教育分野における大規模言語モデル(LLM)の有効性を評価することに注力する。
上記のシナリオにおけるLLMの有効性を評価するために,新しい複数選択質問データセットを提案する。
また,ゼロショット法や少数ショット法など,様々なプロンプト技術の影響についても検討する。
異なる大きさのモデルは、音韻学、音韻学、第二言語習得の概念をよく理解しているが、実世界の問題に対する推論には限界がある。
論文 参考訳(メタデータ) (2023-08-28T12:47:41Z) - Dissociating language and thought in large language models [52.39241645471213]
大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。
我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。
LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
論文 参考訳(メタデータ) (2023-01-16T22:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。