論文の概要: Analyzing Large language models chatbots: An experimental approach using a probability test
- arxiv url: http://arxiv.org/abs/2407.12862v1
- Date: Wed, 10 Jul 2024 15:49:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 08:18:00.849501
- Title: Analyzing Large language models chatbots: An experimental approach using a probability test
- Title（参考訳）: 大規模言語モデルチャットボットの分析:確率テストを用いた実験的検討
- Authors: Melise Peruchini, Julio Monteiro Teixeira,
- Abstract要約: 本研究は2つの異なる大言語モデル(LLM)を用いた探索実験を通じて行われた定性的な経験的研究から成る。
方法としては,確率問題で設計されたプロンプトに基づいて探索試験を行った。
認知心理学において広く認知されている「リンダ問題」は、この実験に特化して新たな問題である「マリー問題」の開発とともに、テスト作成の基礎として用いられた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study consists of qualitative empirical research, conducted through exploratory tests with two different Large Language Models (LLMs) chatbots: ChatGPT and Gemini. The methodological procedure involved exploratory tests based on prompts designed with a probability question. The "Linda Problem", widely recognized in cognitive psychology, was used as a basis to create the tests, along with the development of a new problem specifically for this experiment, the "Mary Problem". The object of analysis is the dataset with the outputs provided by each chatbot interaction. The purpose of the analysis is to verify whether the chatbots mainly employ logical reasoning that aligns with probability theory or if they are more frequently affected by the stereotypical textual descriptions in the prompts. The findings provide insights about the approach each chatbot employs in handling logic and textual constructions, suggesting that, while the analyzed chatbots perform satisfactorily on a well-known probabilistic problem, they exhibit significantly lower performance on new tests that require direct application of probabilistic logic.
- Abstract（参考訳）: この研究は、2つの異なるLarge Language Models (LLM) チャットボット(ChatGPT)とGemini(Gemini)による探索実験を通じて行われた定性的実証研究から成っている。
方法としては,確率問題で設計されたプロンプトに基づいて探索試験を行った。
認知心理学において広く認知されている「リンダ問題」は、この実験に特化して新しい問題である「マリー問題」の開発とともに、テストを作成する基盤として使用された。
分析の対象は、各チャットボットのインタラクションによって提供されるアウトプットを備えたデータセットである。
本分析の目的は,チャットボットが確率論と整合する論理的推論を主に用いているか,あるいはプロンプトの典型的記述によってより頻繁に影響を受けるかを検証することである。
この結果から,各チャットボットが論理処理やテキスト構築に用いているアプローチについての知見が得られ,解析されたチャットボットはよく知られた確率論的問題に満足して機能する一方で,確率論的論理の直接適用を必要とする新しいテストにおいて,性能が著しく低下していることが示唆された。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Empirical Study of Symmetrical Reasoning in Conversational Chatbots [0.0]
本研究では,大規模言語モデル(LLM)を利用した対話型チャットボットによる述語対称性の理解について検討する。
ChatGPT 4、Huggingface chat AI、MicrosoftのCopilot AI、PerplexityによるLLaMA、Gemini Advancedの5つのチャットボットの対称推論を評価した。
実験の結果、チャットボットのパフォーマンスは様々であり、人間のような推論能力に近づいている。
論文 参考訳（メタデータ） (2024-07-08T08:38:43Z) - Unveiling Assumptions: Exploring the Decisions of AI Chatbots and Human Testers [2.5327705116230477]
意思決定は、コード、要求仕様、その他のソフトウェアアーティファクトなど、さまざまな情報に依存します。
不明瞭な情報によって残されたギャップを埋めるために、私たちはしばしば、前提や直観、あるいは以前の経験に頼って意思決定をします。
論文 参考訳（メタデータ） (2024-06-17T08:55:56Z) - Comparative Analysis of ChatGPT, GPT-4, and Microsoft Bing Chatbots for GRE Test [0.0]
本研究では,Bing,ChatGPT,GPT-4の3つの人工知能チャットボットが,標準化されたテストから質問に答える上で,いかにうまく機能するかを解析する。
量的推論の異なる137の質問と、言語カテゴリーを持つ157の質問が、それらの能力を評価するために使用された。
論文 参考訳（メタデータ） (2023-11-26T05:27:35Z) - Multi-Purpose NLP Chatbot : Design, Methodology & Conclusion [0.0]
本研究は,現在あるチャットボット技術環境を網羅的に分析するものである。
ユーザインタラクションと会話体験を改善するために強化学習戦略を利用する、非常に柔軟なシステムを提供する。
チャットボット技術の発展の複雑さと、これらの開発を推進してきた要因と、それらが様々な分野に及ぼした影響についても検討する。
論文 参考訳（メタデータ） (2023-10-13T09:47:24Z) - Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain
Activation Maps [59.648646222905235]
そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。
テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
論文 参考訳（メタデータ） (2023-09-10T13:06:45Z) - Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文 参考訳（メタデータ） (2022-05-14T11:47:58Z) - Do language models learn typicality judgments from text? [6.252236971703546]
認知科学における一般的な現象である典型性に関する予測言語モデル(LM)を評価する。
最初の試験は、分類学的分類群を項目に割り当てる際、典型性がLMを調節するかどうかを目標とする。
第2の試験は、アイテムに関する新しい情報をそのカテゴリに拡張する際に、LMの確率の典型性に対する感受性を調査する。
論文 参考訳（メタデータ） (2021-05-06T21:56:40Z) - AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。
我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
論文 参考訳（メタデータ） (2021-04-14T02:53:32Z) - Investigation of Sentiment Controllable Chatbot [50.34061353512263]
本稿では,反応の感情をスケールまたは調整する4つのモデルについて検討する。
モデルはペルソナベースのモデル、強化学習、プラグアンドプレイモデル、CycleGANである。
入力に対して応答が妥当かどうかを推定するために,機械評価メトリクスを開発する。
論文 参考訳（メタデータ） (2020-07-11T16:04:30Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳（メタデータ） (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。