論文の概要: PicTalky: Augmentative and Alternative Communication Software for
Language Developmental Disabilities
- arxiv url: http://arxiv.org/abs/2109.12941v1
- Date: Mon, 27 Sep 2021 10:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 00:44:34.891400
- Title: PicTalky: Augmentative and Alternative Communication Software for
Language Developmental Disabilities
- Title(参考訳): pictalky: 言語発達障害のための拡張的および代替的なコミュニケーションソフトウェア
- Authors: Chanjun Park, Yoonna Jang, Seolhwa Lee, Jaehyung Seo, Kisu Yang,
Heuiseok Lim
- Abstract要約: AAC(Augmentative and Alternative Communication)は、言語障害のある人々のための実践的なコミュニケーション手段である。
言語発達障害児のコミュニケーション能力と言語理解能力の向上を支援するAIベースのAACシステムであるPicTalkyを提案する。
- 参考スコア(独自算出の注目度): 2.2944351895226953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Augmentative and alternative communication (AAC) is a practical means of
communication for people with language disabilities. In this study, we propose
PicTalky, which is an AI-based AAC system that helps children with language
developmental disabilities to improve their communication skills and language
comprehension abilities. PicTalky can process both text and pictograms more
accurately by connecting a series of neural-based NLP modules. Moreover, we
perform quantitative and qualitative analyses on the essential features of
PicTalky. It is expected that those suffering from language problems will be
able to express their intentions or desires more easily and improve their
quality of life by using this service. We have made the models freely available
alongside a demonstration of the Web interface. Furthermore, we implemented
robotics AAC for the first time by applying PicTalky to the NAO robot.
- Abstract(参考訳): AAC(Augmentative and Alternative Communication)は、言語障害のある人々のための実践的なコミュニケーション手段である。
本研究では,言語発達障害児のコミュニケーション能力と言語理解能力の向上を支援するAIベースのAACシステムであるPicTalkyを提案する。
PicTalkyは、一連のニューラルネットワークNLPモジュールを接続することで、テキストとピクトグラムの両方をより正確に処理することができる。
さらに,PicTalkyの本質的特徴を定量的に定性的に分析する。
言語障害に苦しむ人たちは、このサービスを使うことで、自分の意図や願望をより簡単に表現し、生活の質を向上させることが期待されている。
我々は、Webインターフェースのデモとともに、モデルを自由に利用可能にしました。
さらに, NAOロボットにPicTalkyを適用することにより, ロボットAACを初めて実装した。
関連論文リスト
- Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents [5.244401764969407]
仮想エージェントや社会ロボットという形で、身体エージェントが急速に普及している。
音声テキストと音声の発話から関節角度の連続を生成できる新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-09-17T18:46:25Z) - Can Language Models Learn to Listen? [96.01685069483025]
本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。
提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。
生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
論文 参考訳(メタデータ) (2023-08-21T17:59:02Z) - Visual-Aware Text-to-Speech [101.89332968344102]
テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。
音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
論文 参考訳(メタデータ) (2023-06-21T05:11:39Z) - Ada-TTA: Towards Adaptive High-Quality Text-to-Talking Avatar Synthesis [66.43223397997559]
入力テキストに対応する高品質な音声ポートレート映像を合成することを目的としている。
この課題は、デジタルヒューマン産業における幅広い応用の見通しを持っているが、まだ技術的には達成されていない。
本稿では,Ada-TTA(Adaptive Text-to-Talking Avatar)を提案する。
論文 参考訳(メタデータ) (2023-06-06T08:50:13Z) - Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding [55.989376102986654]
本稿では,言語間テキスト-音声間問題に対処するための移動可能な音素埋め込みフレームワークについて,数ショット設定で検討する。
本稿では,音素ベースのTSモデルと,異なる言語からの音素を学習潜在空間に投影するコードブックモジュールからなるフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-27T11:24:40Z) - ASR data augmentation in low-resource settings using cross-lingual
multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。
対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
論文 参考訳(メタデータ) (2022-03-29T11:55:30Z) - Learning to Mediate Disparities Towards Pragmatic Communication [9.321336642983875]
言語コミュニケーションに類似した能力を持つAIエージェントを構築するためのフレームワークとして,Pragmatic Rational Speaker (PRS)を提案する。
PRSは、作業メモリに軽量の差分調整層を追加することにより、話者-リスナーの差分を学習し、それに応じて音声を調整しようとする。
長期メモリを修正することで、PSSは様々なタイプのリスナを学習し適応するためにのみ、動作メモリを更新する。
論文 参考訳(メタデータ) (2022-03-25T14:46:43Z) - FreeTalky: Don't Be Afraid! Conversations Made Easier by a Humanoid
Robot using Persona-based Dialogue [1.7651013017598882]
本稿では,外国語に関する不安を経験する人々を対象とした,ディープラーニングに基づく外国語学習プラットフォームFreeTalkyを提案する。
NAOに埋め込まれたペルソナベースの対話システムは、ユーザにとって興味深く一貫したマルチターン対話を提供する。
論文 参考訳(メタデータ) (2021-12-08T05:48:11Z) - Introducing the Talk Markup Language (TalkML):Adding a little social
intelligence to industrial speech interfaces [0.0]
自然言語の理解は、AI研究の最も残念な失敗の1つだ。
本稿では、他の分野からアイデアを取り入れて実装した方法について述べる。
論文 参考訳(メタデータ) (2021-05-24T14:25:35Z) - Structural and Functional Decomposition for Personality Image Captioning
in a Communication Game [53.74847926974122]
パーソナリティ画像キャプション(PIC)は、性格特性が与えられた自然言語キャプションを持つ画像を記述することを目的としている。
本稿では,話者とリスナーのコミュニケーションゲームに基づくPICの新しい定式化を提案する。
論文 参考訳(メタデータ) (2020-11-17T10:19:27Z) - The design and implementation of Language Learning Chatbot with XAI
using Ontology and Transfer Learning [0.0]
音声認識と発音訂正のための音声学レベル、特定のドメイン会話のセマンティックレベル、英語における自由な会話のシミュレーションを含む、体系的な英語学習のための3つのレベルを設計する。
言語学習エージェントは、WeChatのミニプログラムをフロントエンドとして統合し、翻訳学習の微調整GPT-2モデルをバックエンドとして、オントロジーグラフで応答を解釈した。
論文 参考訳(メタデータ) (2020-09-29T13:11:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。