論文の概要: Quantitative Insights into Large Language Model Usage and Trust in Academia: An Empirical Study

• arxiv url: http://arxiv.org/abs/2409.09186v2
• Date: Thu, 06 Feb 2025 23:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:54:13.017462
• Title: Quantitative Insights into Large Language Model Usage and Trust in Academia: An Empirical Study
• Title（参考訳）: 学業における大規模言語モデル利用と信頼に関する定量的考察--実証的研究
• Authors: Minseok Jung, Aurora Zhang, May Fung, Junho Lee, Paul Pu Liang,
• Abstract要約: 大規模言語モデル(LLM)は、多くの学術分野において、文章、読み、教え、知識検索を変革している。 使用状況の正確な定量化,アウトプットに対するユーザの信頼,デプロイメントの優先順位付けに要する重要な問題に関する懸念などが求められます。 本研究は, 私立R1研究大学の125名の個人を対象に, LLMの使用状況, LLMのアウトプットに対する信頼度, 学界におけるロバストな利用を優先する重要な課題について調査した。
• 参考スコア（独自算出の注目度）: 27.7299835314702
• License:
• Abstract: Large Language Models (LLMs) are transforming writing, reading, teaching, and knowledge retrieval in many academic fields. However, concerns regarding their misuse and erroneous outputs have led to varying degrees of trust in LLMs within academic communities. In response, various academic organizations have proposed and adopted policies regulating their usage. However, these policies are not based on substantial quantitative evidence because there is no data about use patterns and user opinion. Consequently, there is a pressing need to accurately quantify their usage, user trust in outputs, and concerns about key issues to prioritize in deployment. This study addresses these gaps through a quantitative user study of LLM usage and trust in academic research and education. Specifically, our study surveyed 125 individuals at a private R1 research university regarding their usage of LLMs, their trust in LLM outputs, and key issues to prioritize for robust usage in academia. Our findings reveal: (1) widespread adoption of LLMs, with 75% of respondents actively using them; (2) a significant positive correlation between trust and adoption, as well as between engagement and trust; and (3) that fact-checking is the most critical concern. These findings suggest a need for policies that address pervasive usage, prioritize fact-checking mechanisms, and accurately calibrate user trust levels as they engage with these models. These strategies can help balance innovation with accountability and help integrate LLMs into the academic environment effectively and reliably.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの学術分野において、文章、読み、教え、知識検索を変革している。 しかし、それらの誤用や誤出力に関する懸念は、学術コミュニティ内のLLMに対する様々な信頼度をもたらしている。 これに対し、様々な学術団体が、その使用を規制する政策を提案し、採用している。 しかし、これらの方針は、利用パターンやユーザ意見に関するデータがないため、実質的な量的証拠に基づいていない。 結果として、使用状況の正確な定量化、アウトプットに対するユーザの信頼、デプロイメントの優先順位付けに重要な問題に関する懸念が求められます。 本研究は,学術研究・教育におけるLLM利用と信頼の定量的ユーザスタディを通じて,これらのギャップに対処する。 具体的には, 私立R1研究大学の125名の個人を対象に, LLMの使用状況, LLMのアウトプットに対する信頼度, アカデミックにおけるロバストな使用を優先する重要な課題について調査した。 その結果,(1) LLMの普及が広く,75%の回答者が積極的に利用していること,(2)信頼と養子縁関係,およびエンゲージメントと信頼関係に有意な正の相関があること,(3)ファクトチェックが最も重要な関心事であることが判明した。 これらの結果から,広汎な利用,ファクトチェックの優先順位付け,ユーザの信頼度を正確に調整するポリシの必要性が示唆された。 これらの戦略はイノベーションと説明責任のバランスを保ち、LLMを学術環境に効果的かつ確実に統合するのに役立つ。

関連論文リスト

• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency [60.25969380388974]
  大規模言語モデル (LLM) は知識ベース (KB) として研究されている。 現在の評価手法は、信頼性の高い性能の他の決定的な基準を見越して、知識の保持に過度に焦点を絞っている。 我々は,事実と一貫性を定量化するための新しい基準と指標を提案し,最終的な信頼性スコアを導いた。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• Building Understandable Messaging for Policy and Evidence Review (BUMPER) with AI [0.3495246564946556]
  BUMPER(Building Understandable Messaging for Policy and Evidence Review)において,大規模言語モデル(LLM)を使用するためのフレームワークを導入する。 LLMは多様なメディアの大規模なデータベースを理解し合成するためのインタフェースを提供することができる。 この枠組みは、政策立案者に対する科学的証拠のアクセシビリティと信頼性を促進することができると我々は主張する。
  論文  参考訳（メタデータ） (2024-06-27T05:03:03Z)
• I don't trust you (anymore)! -- The effect of students' LLM use on Lecturer-Student-Trust in Higher Education [0.0]
  Open AIのChatGPTのようなプラットフォームにおける大規模言語モデル(LLM)は、大学生の間で急速に採用されている。 学生によるLLMの使用は、情報と手続きの正義にどのように影響し、チーム信頼と期待されるチームパフォーマンスに影響を与えるか? 本研究は,LLM使用の公平さよりも,学生利用の透明性に重点を置いていることを示唆する。
  論文  参考訳（メタデータ） (2024-06-21T05:35:57Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• Best Practices for Text Annotation with Large Language Models [11.421942894219901]
  LLM(Large Language Models)は、新しいテキストアノテーションの時代を担っている。 本稿では, 信頼性, 再現性, 倫理的利用に関する包括的基準とベストプラクティスを提案する。
  論文  参考訳（メタデータ） (2024-02-05T15:43:50Z)
• TrustLLM: Trustworthiness in Large Language Models [446.5640421311468]
  本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。 まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。 これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
  論文  参考訳（メタデータ） (2024-01-10T22:07:21Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。