論文の概要: Do LLMs Find Human Answers To Fact-Driven Questions Perplexing? A Case Study on Reddit

• arxiv url: http://arxiv.org/abs/2404.01147v1
• Date: Mon, 1 Apr 2024 14:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:15:37.708336
• Title: Do LLMs Find Human Answers To Fact-Driven Questions Perplexing? A Case Study on Reddit
• Title（参考訳）: LLMはFact-Driven Questionsに人間の答えを見つけるか? Redditでのケーススタディ
• Authors: Parker Seegmiller, Joseph Gatto, Omar Sharif, Madhusudan Basak, Sarah Masud Preum,
• Abstract要約: 我々は15のr/AskTopicコミュニティから409のファクトドリブンな質問と7,534の多様性と評価された回答のデータセットを収集し、リリースする。 LLMは、評価の低い人間の答えとは対照的に、そのような質問に対する高い評価の人間の回答をモデル化するのがかなり優れている。
• 参考スコア（独自算出の注目度）: 2.6968323853251928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have been shown to be proficient in correctly answering questions in the context of online discourse. However, the study of using LLMs to model human-like answers to fact-driven social media questions is still under-explored. In this work, we investigate how LLMs model the wide variety of human answers to fact-driven questions posed on several topic-specific Reddit communities, or subreddits. We collect and release a dataset of 409 fact-driven questions and 7,534 diverse, human-rated answers from 15 r/Ask{Topic} communities across 3 categories: profession, social identity, and geographic location. We find that LLMs are considerably better at modeling highly-rated human answers to such questions, as opposed to poorly-rated human answers. We present several directions for future research based on our initial findings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オンライン談話の文脈における質問に正しく答えることに熟練していることが示されている。 しかし, 事実駆動型ソーシャルメディア質問に対する人間的回答のモデル化にLLMを用いた研究は, いまだに未検討である。 本研究では,複数のトピック固有のRedditコミュニティ,あるいはサブレディットで提起された事実駆動質問に対して,LLMが多種多様な人間の回答をどのようにモデル化するかを検討する。 専門職、社会的アイデンティティ、地理的位置の3つのカテゴリにまたがる15のr/Ask{Topic}コミュニティから、409の事実駆動の質問と7,534の多様性と人間による回答のデータセットを収集し、リリースします。 LLMは、評価の低い人間の答えとは対照的に、そのような質問に対する高い評価の人間の回答をモデル化するのがかなり優れている。 今後の研究の方向性について,本研究の最初の成果をもとに概説する。

関連論文リスト

• Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
  大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
  論文  参考訳（メタデータ） (2024-10-01T06:07:00Z)
• Analyzing Human Questioning Behavior and Causal Curiosity through Natural Queries [91.70689724416698]
  NatQuest(ナットクエスト)は、3つの異なるソースから自然発生の質問13,500件のコレクションである。 分析の結果,データセット内には因果的疑問(最大42%)が有意な存在であることが判明した。
  論文  参考訳（メタデータ） (2024-05-30T17:55:28Z)
• Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering [67.94354589215637]
  大きな言語モデル(LLM)は知識探索に広く用いられているが、幻覚に悩まされている。 本稿では,LLMの知識境界(KB)を半オープンな質問(SoeQ)で知覚する。 GPT-4 は SoeQ では性能が悪く,KB に気づいていないことが多い。 我々の補助モデルであるLLaMA-2-13Bは、より曖昧な答えを見つけるのに有効である。
  論文  参考訳（メタデータ） (2024-05-23T10:00:14Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• Factuality of Large Language Models: A Survey [29.557596701431827]
  我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。 オープンエンドテキスト生成における事実自動評価の障害を解析する。
  論文  参考訳（メタデータ） (2024-02-04T09:36:31Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Understanding Causality with Large Language Models: Feasibility and Opportunities [23.68197884888299]
  我々は,大言語モデル(LLM)の強みと弱みを分析し,因果的疑問に答える能力を評価する。 我々は,明示的かつ暗黙的な因果的加群の実現など,今後の方向性や可能性について議論する。
  論文  参考訳（メタデータ） (2023-04-11T22:30:03Z)
• What Types of Questions Require Conversation to Answer? A Case Study of AskReddit Questions [16.75969771718778]
  本研究の目的は,会話を通じて最もよく答えられる無謀でオープンな質問の種類を調べることで,会話システムの境界を推し進めることである。 我々は、AskRedditに投稿された100万件のオープンエンドリクエストから500件の質問をサンプリングし、オンラインの群衆労働者を雇い、これらの質問について8つの質問に答えた。 私たちは、人々が十分に解決するために会話を必要とすると信じている問題は、非常に社会的かつ個人的なものであることに気付きました。
  論文  参考訳（メタデータ） (2023-03-30T21:05:22Z)
• How Do We Answer Complex Questions: Discourse Structure of Long-form Answers [51.973363804064704]
  3つのデータセットから収集した長文回答の機能構造について検討した。 私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。 我々の研究は、長期QAシステムの談話レベルのモデリングと評価に関する将来の研究に刺激を与えることができる。
  論文  参考訳（メタデータ） (2022-03-21T15:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。