論文の概要: ChatGPT and Bard Responses to Polarizing Questions

• arxiv url: http://arxiv.org/abs/2307.12402v1
• Date: Thu, 13 Jul 2023 14:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-30 04:05:54.758235
• Title: ChatGPT and Bard Responses to Polarizing Questions
• Title（参考訳）: 分極問題に対するchatgptとbard応答
• Authors: Abhay Goyal, Muhammad Siddique, Nimay Parekh, Zach Schwitzky, Clara Broekaert, Connor Michelotti, Allie Wong, Lam Yin Cheung, Robin O Hanlon, Lam Yin Cheung, Munmun De Choudhury, Roy Ka-Wei Lee, Navin Kumar
• Abstract要約: 私たちはChatGPTとBardレスポンスのデータセットを作成し、記述しました。 その結果,ChatGPTとBardのいずれにおいても左利きバイアスが認められた。 バードは論争を巻き起こす話題に対するガードレールが少なかったようで、より包括的で人間らしい反応を提供したいと願うように見えた。
• 参考スコア（独自算出の注目度）: 9.845338348278338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent developments in natural language processing have demonstrated the potential of large language models (LLMs) to improve a range of educational and learning outcomes. Of recent chatbots based on LLMs, ChatGPT and Bard have made it clear that artificial intelligence (AI) technology will have significant implications on the way we obtain and search for information. However, these tools sometimes produce text that is convincing, but often incorrect, known as hallucinations. As such, their use can distort scientific facts and spread misinformation. To counter polarizing responses on these tools, it is critical to provide an overview of such responses so stakeholders can determine which topics tend to produce more contentious responses -- key to developing targeted regulatory policy and interventions. In addition, there currently exists no annotated dataset of ChatGPT and Bard responses around possibly polarizing topics, central to the above aims. We address the indicated issues through the following contribution: Focusing on highly polarizing topics in the US, we created and described a dataset of ChatGPT and Bard responses. Broadly, our results indicated a left-leaning bias for both ChatGPT and Bard, with Bard more likely to provide responses around polarizing topics. Bard seemed to have fewer guardrails around controversial topics, and appeared more willing to provide comprehensive, and somewhat human-like responses. Bard may thus be more likely abused by malicious actors. Stakeholders may utilize our findings to mitigate misinformative and/or polarizing responses from LLMs
• Abstract（参考訳）: 自然言語処理の最近の進歩は、幅広い教育や学習結果を改善するための大規模言語モデル(LLM)の可能性を示している。 llms、chatgpt、およびbardに基づく最近のチャットボットのうち、人工知能(ai)技術が情報獲得と検索の方法に大きな影響を与えることを明らかにしている。 しかし、これらのツールはしばしば説得力があるが、しばしば不正確である幻覚として知られるテキストを生成する。 そのため、科学的事実を歪め、誤報を広めることができる。 これらのツールに対する反応の分極化に対抗するために、利害関係者がどのトピックがより議論の的になるかを決定するために、そのような反応の概要を提供することが重要です。 さらに、上述の目的の中心となる、分極する可能性のあるトピックに関する、chatgptとbard応答の注釈付きデータセットは存在しない。 米国における高度に分極化したトピックに注目して、chatgptとbard応答のデータセットを作成し、記述しました。 広義には,chatgptとbardでは左寄りのバイアスがみられ,bardは分極化トピックに関する回答を提供する傾向が強かった。 bardは議論の的となっている話題に対するガードレールが少なく、より包括的で、やや人間的な反応を提供したいようだ。 したがって、悪質な俳優に虐待される可能性が高い。 LLMからの誤変形および/または偏光反応を緩和するために、ステークホルダーは我々の知見を利用するかもしれない

関連論文リスト

• Open Domain Question Answering with Conflicting Contexts [55.739842087655774]
  あいまいでオープンなドメインの質問の25%は、Google Searchを使って検索すると、コンフリクトのあるコンテキストにつながります。 我々はアノテータに正しい回答の選択についての説明を依頼する。
  論文  参考訳（メタデータ） (2024-10-16T07:24:28Z)
• What Evidence Do Language Models Find Convincing? [94.90663008214918]
  議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。 このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。 全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
  論文  参考訳（メタデータ） (2024-02-19T02:15:34Z)
• DELPHI: Data for Evaluating LLMs' Performance in Handling Controversial Issues [3.497021928281132]
  論争は私たちの世俗主義の反映であり、あらゆる論点にとって重要な側面である。 対話型システムとしての大規模言語モデル(LLM)の台頭は、これらのシステムに対する様々な質問に対する回答に対する大衆の信頼を高めている。 本稿では,Quora Question Pairsデータセットを拡張した,議論の的となっている質問データセットの新規構築を提案する。
  論文  参考訳（メタデータ） (2023-10-27T13:23:02Z)
• ChatGPT impacts in programming education: A recent literature overview that debates ChatGPT responses [0.0]
  このテーマで特定された主要な問題として、文献の一覧、表紙、文書が挙げられている。 論文は、近い将来に何が起こるかという短い議論で締めくくられる。
  論文  参考訳（メタデータ） (2023-08-30T06:41:57Z)
• How Good is Google Bard's Visual Understanding? An Empirical Study on Open Challenges [135.29096973905783]
  GoogleのBardは、会話型AIの分野で、OpenAIのChatGPTの強力なライバルとして登場した。 テキスト質問による視覚データの理解と解釈におけるBardの機能について検討する。
  論文  参考訳（メタデータ） (2023-07-27T17:19:32Z)
• SQuARe: A Large-Scale Dataset of Sensitive Questions and Acceptable Responses Created Through Human-Machine Collaboration [75.62448812759968]
  このデータセットは、韓国の大規模データセットで、49kの機密性があり、42kの許容範囲と46kの非許容応答がある。 データセットは、実際のニュースの見出しに基づいて、HyperCLOVAを人道的に活用して構築された。
  論文  参考訳（メタデータ） (2023-05-28T11:51:20Z)
• A Categorical Archive of ChatGPT Failures [47.64219291655723]
  OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。 それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。 しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
  論文  参考訳（メタデータ） (2023-02-06T04:21:59Z)
• A Weakly Supervised Approach for Classifying Stance in Twitter Replies [11.139350549173953]
  オンライン会話では敵の反応が一般的である。 これらの不利な見解(あるいは姿勢)を返信文から推測することは困難である。 我々は,twitter応答におけるスタンスを予測するための弱い教師付きアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-12T06:02:45Z)
• Counterfactual VQA: A Cause-Effect Look at Language Bias [117.84189187160005]
  VQAモデルは、ショートカットとして言語バイアスに依存し、視覚と言語の両方からマルチモーダルな知識を十分に学ばない傾向にある。 本稿では,質問に対する直接的な因果的影響として,言語バイアスを捉えることのできる,新たな反事実推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-08T01:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。