論文の概要: SingaKids: A Multilingual Multimodal Dialogic Tutor for Language Learning

• arxiv url: http://arxiv.org/abs/2506.02412v1
• Date: Tue, 03 Jun 2025 03:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.21834
• Title: SingaKids: A Multilingual Multimodal Dialogic Tutor for Language Learning
• Title（参考訳）: SingaKids: 言語学習のための多言語多言語対話型チュータ
• Authors: Zhengyuan Liu, Geyu Lin, Hui Li Tan, Huayun Zhang, Yanfeng Lu, Xiaoxue Gao, Stella Xin Yin, He Sun, Hock Huan Goh, Lung Hsiang Wong, Nancy F. Chen,
• Abstract要約: 画像記述タスクによる言語学習を支援するための対話型チューターであるSingaKidsを紹介する。 本システムでは, 画像キャプション, 多言語対話, 音声理解, 係り受け音声生成を統合し, 没入型学習環境を構築する。
• 参考スコア（独自算出の注目度）: 33.91186948786452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of generative artificial intelligence into educational applications has enhanced personalized and interactive learning experiences, and it shows strong potential to promote young learners language acquisition. However, it is still challenging to ensure consistent and robust performance across different languages and cultural contexts, and kids-friendly design requires simplified instructions, engaging interactions, and age-appropriate scaffolding to maintain motivation and optimize learning outcomes. In this work, we introduce SingaKids, a dialogic tutor designed to facilitate language learning through picture description tasks. Our system integrates dense image captioning, multilingual dialogic interaction, speech understanding, and engaging speech generation to create an immersive learning environment in four languages: English, Mandarin, Malay, and Tamil. We further improve the system through multilingual pre-training, task-specific tuning, and scaffolding optimization. Empirical studies with elementary school students demonstrate that SingaKids provides effective dialogic teaching, benefiting learners at different performance levels.
• Abstract（参考訳）: 生成的人工知能を教育アプリケーションに統合することで、パーソナライズされたインタラクティブな学習体験が向上し、若手学習者の言語習得を促進する可能性が強まっている。 しかし、異なる言語や文化的文脈における一貫性と堅牢性を確保することは依然として困難であり、子どもに優しいデザインには、モチベーションを維持し学習成果を最適化するためには、簡易な指示、係わる相互作用、年齢に適した足場が必要である。 本研究では,画像記述タスクによる言語学習を支援するための対話型チュータであるSingaKidsを紹介する。 本システムでは,高密度画像キャプション,多言語対話対話,音声理解,アクティベーション音声生成を統合し,英語,マンダリン,マレー語,タミル語の4言語で没入型学習環境を構築する。 さらに,多言語事前学習,タスク特化チューニング,足場最適化によるシステムの改良を行った。 小学生との実証的研究は,SingaKidsが効果的な対話型指導を提供し,異なるパフォーマンスレベルの学習者に利益をもたらすことを実証している。

関連論文リスト

• Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models [49.22720751953838]
  本研究では,子どもの言語習得に触発された対話型環境で言語モデルを訓練する手法を提案する。 この設定では、話者は1ターンの対話でリスナーに何らかの情報を伝達しようと試み、コミュニケーションの成功が達成されれば報酬を受け取る。
  論文  参考訳（メタデータ） (2025-05-09T11:48:36Z)
• Babysit A Language Model From Scratch: Interactive Language Learning by Trials and Demonstrations [15.394018604836774]
  本稿では,学生の試行,教師のデモンストレーション,および様々な発達段階における言語能力に配慮した報酬という,3つの要素を取り入れたトライアル・アンド・デモレーション(TnD)学習フレームワークを提案する。 実験の結果,TnD手法は,等数あるいは少人数の学生モデルの単語獲得を促進させ,試行錯誤と実演の両方の重要性を強調した。 この結果から,対話型言語学習は,教師による実演や積極的試行によって,言語モデルにおける効率的な単語学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-05-22T16:57:02Z)
• Scaffolding Language Learning via Multi-modal Tutoring Systems with Pedagogical Instructions [34.760230622675365]
  知的家庭教師システム(ITS)は、人間の家庭教師を模倣し、学習者にカスタマイズされた指導やフィードバックを提供することを目的としている。 生成人工知能の出現に伴い、大規模言語モデル(LLM)は、複雑な会話の相互作用をシステムに付与する。 教育指導がITSの足場形成をいかに促進するかを,子どもに言語学習のための画像記述を指導するケーススタディにより検討した。
  論文  参考訳（メタデータ） (2024-04-04T13:22:28Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• User Adaptive Language Learning Chatbots with a Curriculum [55.63893493019025]
  語彙的に制約されたデコーディングをダイアログシステムに適用し、ダイアログシステムに対して、その生成した発話にカリキュラムに準拠した単語やフレーズを含めるよう促す。 評価の結果,カリキュラム注入によるダイアログシステムにより,対象語に対する生徒の理解が向上し,英語実践への関心が高まることが示された。
  論文  参考訳（メタデータ） (2023-04-11T20:41:41Z)
• Computational Language Acquisition with Theory of Mind [84.2267302901888]
  我々は、心の理論(ToM)を備えた言語学習エージェントを構築し、その学習過程への影響を測定する。 重み付けされたToMリスナーコンポーネントを用いた学習話者は,画像参照ゲームの設定において,性能向上につながることがわかった。
  論文  参考訳（メタデータ） (2023-03-02T18:59:46Z)
• An Interactive Foreign Language Trainer Using Assessment and Feedback Modalities [0.0]
  この研究は、情報工学の分野において最もよく使われている4つの外国語のうちの1つまたは全てから学生が学ぶのに役立つように設計されている。 このプログラムは、学生に基礎的、中間的、高度なレベルを素早く教えることを目的としている。
  論文  参考訳（メタデータ） (2020-11-23T16:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。