論文の概要: LLM or Human? Perceptions of Trust and Information Quality in Research Summaries

• arxiv url: http://arxiv.org/abs/2601.15556v1
• Date: Thu, 22 Jan 2026 00:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.45878
• Title: LLM or Human? Perceptions of Trust and Information Quality in Research Summaries
• Title（参考訳）: LLMか人間か : 研究者の信頼と情報品質の認識
• Authors: Nil-Jana Akpinar, Sandeep Avula, CJ Lee, Brandon Dang, Kaza Razat, Vanessa Murdock,
• Abstract要約: 大規模言語モデル(LLM)は、科学的な抽象化の生成と編集にますます利用されている。 普及しているにもかかわらず、読者がLLM生成サマリーをどのように認識しているかはほとんど分かっていない。
• 参考スコア（独自算出の注目度）: 4.14522715241162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly used to generate and edit scientific abstracts, yet their integration into academic writing raises questions about trust, quality, and disclosure. Despite growing adoption, little is known about how readers perceive LLM-generated summaries and how these perceptions influence evaluations of scientific work. This paper presents a mixed-methods survey experiment investigating whether readers with ML expertise can distinguish between human- and LLM-generated abstracts, how actual and perceived LLM involvement affects judgments of quality and trustworthiness, and what orientations readers adopt toward AI-assisted writing. Our findings show that participants struggle to reliably identify LLM-generated content, yet their beliefs about LLM involvement significantly shape their evaluations. Notably, abstracts edited by LLMs are rated more favorably than those written solely by humans or LLMs. We also identify three distinct reader orientations toward LLM-assisted writing, offering insights into evolving norms and informing policy around disclosure and acceptable use in scientific communication.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、科学的な抽象物の生成と編集にますます使われていますが、学術的な文章への統合は、信頼、品質、開示に関する疑問を引き起こします。 普及しているにもかかわらず、読者がLLM生成サマリーをどのように認識し、これらの知覚が科学研究の評価にどのように影響するかはほとんど分かっていない。 本稿では,MLの専門知識を持つ読者が人間とLLMの生成した抽象概念を区別できるかどうか,LLMの関与が品質や信頼性の判断にどのように影響するか,AI支援による文章の書き方に対して読者がどのような向きを採るのか,などについて検討する。 以上の結果から, 参加者はLLM生成内容の確実な同定に苦慮しているが, LLMの関与に関する信念は評価を著しく変えていることがわかった。 特に、LLMによって編集された抽象化は、人間やLLMによってのみ書かれたものよりも好意的に評価されている。 また,LLM支援書記に対する3つの異なる読取者指向を同定し,規範の進化に関する洞察を提供し,開示に関する政策を提示し,科学コミュニケーションにおける許容可能な利用について述べる。

関連論文リスト

• LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
  大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。 本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-14T10:30:20Z)
• Communication Styles and Reader Preferences of LLM and Human Experts in Explaining Health Information [20.955508468328603]
  大規模言語モデル(LLM)の通信スタイルについて検討した。 権威ある事実検査機関から1498件の健康誤報説明データセットを収集した。 情報提示に対するLCMの構造化アプローチは,読者の関心を喚起する上でより効果的である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-13T00:32:38Z)
• Rankers, Judges, and Assistants: Towards Understanding the Interplay of LLMs in Information Retrieval Evaluation [44.58099275559231]
  大規模言語モデル(LLM)は、情報検索(IR)、ランキング、評価、AI支援コンテンツ作成にますます不可欠なものになっている。 本稿では,既存の研究を合成し,LLMに基づくローダとアシスタントがLLMベースの審査員にどのように影響するかを探求する新しい実験設計を提案する。
  論文  参考訳（メタデータ） (2025-03-24T19:24:40Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。