論文の概要: Empirical Study of Symmetrical Reasoning in Conversational Chatbots
- arxiv url: http://arxiv.org/abs/2407.05734v1
- Date: Mon, 8 Jul 2024 08:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 16:30:32.497646
- Title: Empirical Study of Symmetrical Reasoning in Conversational Chatbots
- Title（参考訳）: 会話型チャットボットにおける対称性推論の実証的研究
- Authors: Daniela N. Rim, Heeyoul Choi,
- Abstract要約: 本研究では,大規模言語モデル(LLM)を利用した対話型チャットボットによる述語対称性の理解について検討する。
ChatGPT 4、Huggingface chat AI、MicrosoftのCopilot AI、PerplexityによるLLaMA、Gemini Advancedの5つのチャットボットの対称推論を評価した。
実験の結果、チャットボットのパフォーマンスは様々であり、人間のような推論能力に近づいている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work explores the capability of conversational chatbots powered by large language models (LLMs), to understand and characterize predicate symmetry, a cognitive linguistic function traditionally believed to be an inherent human trait. Leveraging in-context learning (ICL), a paradigm shift enabling chatbots to learn new tasks from prompts without re-training, we assess the symmetrical reasoning of five chatbots: ChatGPT 4, Huggingface chat AI, Microsoft's Copilot AI, LLaMA through Perplexity, and Gemini Advanced. Using the Symmetry Inference Sentence (SIS) dataset by Tanchip et al. (2020), we compare chatbot responses against human evaluations to gauge their understanding of predicate symmetry. Experiment results reveal varied performance among chatbots, with some approaching human-like reasoning capabilities. Gemini, for example, reaches a correlation of 0.85 with human scores, while providing a sounding justification for each symmetry evaluation. This study underscores the potential and limitations of LLMs in mirroring complex cognitive processes as symmetrical reasoning.
- Abstract（参考訳）: 本研究は,多言語モデル(LLM)を利用した対話型チャットボットによる述語対称性の理解と特徴付け能力について考察する。
チャットボットが再トレーニングすることなく、プロンプトから新しいタスクを学習できるパラダイムシフトである、コンテキスト内学習(ICL)を活用することで、ChatGPT 4、HuggingfaceチャットAI、MicrosoftのCopilot AI、PerplexityによるLLaMA、Gemini Advancedの5つのチャットボットの対称推論を評価する。
我々は,TanchipらによるSymmetry Inference Sentence(SIS)データセットを用いて,人間の評価に対するチャットボットの反応を比較し,述語対称性の理解度を評価する。
実験の結果、チャットボットのパフォーマンスは様々であり、人間のような推論能力に近づいている。
例えば、ジェミニは人間のスコアと0.85の相関に達し、各対称性評価の正当性を提供する。
本研究は、複雑な認知過程を対称的推論として反映する上でのLLMの可能性と限界を明らかにする。
関連論文リスト
- SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。
結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
論文 参考訳（メタデータ） (2024-09-17T02:36:10Z) - DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity [5.388338680646657]
また, GPT-4o miniは, 複数の言語的特徴にまたがって, 実際の人間と系統的に異なることを示す。
本研究では,実際の人的インタラクションから派生した特徴を取り入れたユーザシミュレーションのプロンプトを自動生成する手法を提案する。
本手法は,特定の言語的特徴を対象とするように最適化され,大幅な改善が見られた。
論文 参考訳（メタデータ） (2024-08-30T21:33:58Z) - Self-Directed Turing Test for Large Language Models [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。
従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。
本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
論文 参考訳（メタデータ） (2024-08-19T09:57:28Z) - Analyzing Large language models chatbots: An experimental approach using a probability test [0.0]
本研究は2つの異なる大言語モデル(LLM)を用いた探索実験を通じて行われた定性的な経験的研究から成る。
方法としては,確率問題で設計されたプロンプトに基づいて探索試験を行った。
認知心理学において広く認知されている「リンダ問題」は、この実験に特化して新たな問題である「マリー問題」の開発とともに、テスト作成の基礎として用いられた。
論文 参考訳（メタデータ） (2024-07-10T15:49:40Z) - LLM Roleplay: Simulating Human-Chatbot Interaction [52.03241266241294]
本研究では,人間とチャットボットの対話をシミュレートする多元多元対話を自動生成する,目標指向のペルソナに基づく手法を提案する。
本手法は,人間とチャットボットの対話を高い相違率でシミュレートすることができる。
論文 参考訳（メタデータ） (2024-07-04T14:49:46Z) - Designing and Evaluating Multi-Chatbot Interface for Human-AI Communication: Preliminary Findings from a Persuasion Task [1.360607903399872]
本研究では, 特定の説得環境におけるマルチチャットボットコミュニケーションの効果について検討した。
マルチチャットボット通信が可能なオンライン環境を開発し,パイロット実験を行った。
本稿では,マルチチャットボットインタフェースの開発プロセスとパイロット実験による予備的な結果について述べる。
論文 参考訳（メタデータ） (2024-06-28T04:33:41Z) - From Human-to-Human to Human-to-Bot Conversations in Software Engineering [3.1747517745997014]
AIとチャットボットの統合後,現代のソフトウェア開発において発生する会話のダイナミクスを理解することを目的としている。
既存の会話属性を人間やNLUベースのチャットボットとコンパイルし、ソフトウェア開発のコンテキストに適応する。
我々は人間同士の会話と人間同士の会話の類似点と相違点を示す。
LLM-chatbotsによる最近の会話スタイルは、人間との会話に取って代わるものではないと結論付けている。
論文 参考訳（メタデータ） (2024-05-21T12:04:55Z) - Real-time Addressee Estimation: Deployment of a Deep-Learning Model on
the iCub Robot [52.277579221741746]
住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。
人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。
本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
論文 参考訳（メタデータ） (2023-11-09T13:01:21Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳（メタデータ） (2021-03-30T15:24:37Z) - Spot The Bot: A Robust and Efficient Framework for the Evaluation of
Conversational Dialogue Systems [21.36935947626793]
emphSpot ボットは人間とボットの会話をボット間の会話に置き換える。
人間の判断は、それが人間であるかどうかに関わらず、会話において各実体に注釈を付けるだけである。
emphSurvival Analysisは、人間のような行動を最も長く維持できるボットを計測する。
論文 参考訳（メタデータ） (2020-10-05T16:37:52Z) - Investigation of Sentiment Controllable Chatbot [50.34061353512263]
本稿では,反応の感情をスケールまたは調整する4つのモデルについて検討する。
モデルはペルソナベースのモデル、強化学習、プラグアンドプレイモデル、CycleGANである。
入力に対して応答が妥当かどうかを推定するために,機械評価メトリクスを開発する。
論文 参考訳（メタデータ） (2020-07-11T16:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。