Fugu-MT 論文翻訳(概要): Benchmarking LLMs for Mimicking Child-Caregiver Language in Interaction

論文の概要: Benchmarking LLMs for Mimicking Child-Caregiver Language in Interaction

arxiv url: http://arxiv.org/abs/2412.09318v2
Date: Fri, 13 Dec 2024 09:30:36 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-16 11:43:10.388126
Title: Benchmarking LLMs for Mimicking Child-Caregiver Language in Interaction
Title（参考訳）: 幼児・介護者言語間の相互作用を緩和するLLMのベンチマーク
Authors: Jing Liu, Abdellah Fourtassi,
Abstract要約: LLMは人間のような対話を生成できるが、初期の子どもと大人の交流をシミュレートする能力はほとんど解明されていない。現状のLSMは、単語と発話レベルにおいて、子どもと介護者の対話を近似することができるが、子どもと介護者の分散パターンの再現に苦慮し、アライメントを誇張し、人間によって示される多様性のレベルに到達できなかった。
参考スコア（独自算出の注目度）: 4.109949110722246
License:
Abstract: LLMs can generate human-like dialogues, yet their ability to simulate early child-adult interactions remains largely unexplored. In this paper, we examined how effectively LLMs can capture the distinctive features of child-caregiver language in interaction, using both static and interactive benchmarking methods. We found that state-of-the-art LLMs like Llama 3 and GPT-4o can approximate child-caregiver dialogues at the word and utterance level, but they struggle to reproduce the child and caregiver's discursive patterns, exaggerate alignment, and fail to reach the level of diversity shown by humans. The broader goal of this work is to initiate the development of a comprehensive benchmark for LLMs in child-oriented applications.
Abstract（参考訳）: LLMは人間のような対話を生成できるが、初期の子どもと大人の交流をシミュレートする能力はほとんど解明されていない。本稿では,静的およびインタラクティブなベンチマーク手法を用いて,子育て言語の特徴的特徴を効果的にとらえる方法について検討した。 Llama 3 や GPT-4o のような最先端の LLM は、言葉と発話のレベルで子介護者の対話を近似することができるが、子どもと介護者の分散パターンの再現に苦慮し、アライメントを誇張し、人間によって示される多様性のレベルに到達できなかった。この研究のより広範な目標は、子供指向アプリケーションにおけるLLMの包括的なベンチマークの開発を開始することである。

関連論文リスト

Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
論文参考訳（メタデータ） (2024-06-16T20:41:44Z)
PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
論文参考訳（メタデータ） (2024-04-03T04:53:14Z)
FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
論文参考訳（メタデータ） (2024-02-29T21:05:37Z)
LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models [4.706971067968811]
簡単な変数誘導サンプリングアルゴリズムを用いて,大規模言語モデル (LLM) エージェントの2群集団を作成する。人格検査を行ない、共同作業にエージェントを提出し、異なるプロファイルが会話相手に対して異なるレベルの人格整合性および言語的整合性を示すことを確認する。
論文参考訳（メタデータ） (2024-02-05T11:05:20Z)
Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
論文参考訳（メタデータ） (2023-12-30T14:20:04Z)
Negotiating with LLMS: Prompt Hacks, Skill Gaps, and Reasoning Deficits [1.2818275315985972]
LLMとの価格交渉において,全年齢層で40人以上の個人を対象とするユーザスタディを実施している。交渉された価格が、LLMと効果的に相互作用する際のリテラシーのギャップを指摘し、人類が幅広い範囲で達成したことを示す。
論文参考訳（メタデータ） (2023-11-26T08:44:58Z)
Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
論文参考訳（メタデータ） (2023-11-09T18:45:16Z)
Theory of Mind in Large Language Models: Examining Performance of 11 State-of-the-Art models vs. Children Aged 7-10 on Advanced Tests [1.099532646524593]
我々は、心の理論(ToM)に関連する能力に基づいて、11のベースおよび命令調整型大言語モデル(LLM)をテストする。また, GPT ファミリーの命令調整 LLM は, 他のモデルよりも優れており,子供もよく見られる。我々は,言語とToMの相互接続進化と開発が,命令チューニングがもたらす意味を説明するのに役立つことを示唆している。
論文参考訳（メタデータ） (2023-10-31T09:55:07Z)
BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
論文参考訳（メタデータ） (2023-10-20T16:53:51Z)
DialogueLLM: Context and Emotion Knowledge-Tuned Large Language Models for Emotion Recognition in Conversations [28.15933355881604]
大規模言語モデル(LLM)は、多くの下流自然言語処理(NLP)タスクに対して異常な有効性を示している。 LLaMAモデルの微調整により得られた文脈と感情の知識をチューニングしたLLMであるダイアログLLMを提案する。会話データセットにおける3つの感情認識のベンチマークについて,提案手法の総合評価を行った。
論文参考訳（メタデータ） (2023-10-17T16:15:34Z)
Affect Recognition in Conversations Using Large Language Models [9.689990547610664]
影響認識は人間のコミュニケーションにおいて重要な役割を担っている。本研究では,会話における人間の影響を認識するための言語モデル(LLM)の能力について検討する。
論文参考訳（メタデータ） (2023-09-22T14:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。