論文の概要: Signals, Evidence, and Context: User Scrutiny in Real-World LLM Conversations

• arxiv url: http://arxiv.org/abs/2611.08232v1
• Date: Thu, 05 Nov 2026 16:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.573143
• Title: Signals, Evidence, and Context: User Scrutiny in Real-World LLM Conversations
• Title（参考訳）: 実世界LLM会話におけるユーザ調査の信号・エビデンス・コンテキスト
• Abstract要約: 大規模言語モデル(LLM)は、しばしば、その支持された証拠を検査しやすくすることなく、合成された答えを提示する。 そこで本研究では,ShareChatとWildChatの489,283個のアシスタントユーザ応答ペアにおいて,これらの回答の特徴がユーザのその後の受け入れ,確認,課題にどのように関係しているかを検討する。
• 参考スコア（独自算出の注目度）: 2.363388546004777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often present synthesized answers without making their supporting evidence easy to inspect. We study how features of these answers relate to users' subsequent accepting, checking, and challenging in 489,283 assistant-user response pairs from ShareChat and WildChat. Broad attribution language appears in 31.9% of qualifying responses, compared with explicit URLs in 1.33%, revealing a gap between claims of grounding and preserved inspectable support. Attribution, uncertainty, and other response cues generally accompany both checking and challenging; only uncertainty shows a small statistically distinguishable pooled association favoring checking. Within Technical Help, uncertainty favors checking relative to challenging; refusals and reasoning traces favor challenging in Seeking Information. Scrutiny is concentrated in some conversations, while its apparent turn-to-turn persistence becomes much smaller when conversation-level differences and response ordering are examined separately. These results suggest that supporting verification requires attention to what evidence can be inspected, which question a user is trying to resolve, and the history of the interaction.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、その支持された証拠を検査しやすくすることなく、合成された答えを提示する。 そこで本研究では,ShareChatとWildChatの489,283個のアシスタントユーザ応答ペアにおいて,これらの回答の特徴がユーザのその後の受け入れ,確認,課題にどのように関係しているかを検討する。 広く帰属する言語は31.9%で、明示的なURLは1.33%で、グラウンド化の主張と検査可能なサポートの維持の間のギャップが明らかになっている。 属性、不確実性、その他の応答の手がかりは、一般的にチェックとチャレンジの両方に付随する。 技術的ヘルプの中では、不確実性は、挑戦に対するチェックを好んでおり、拒絶と推論の痕跡は、情報を探すことにおいて挑戦を好んでいる。 精査は一部の会話に集中しているが、会話レベルの違いと応答順序が別々に検討されると、その明らかなターン・ツー・ターンの持続性がより小さくなる。 これらの結果は,検証を支援するためには,どの証拠を検査できるのか,どのユーザが解決しようとしているのか,インタラクションの歴史に注意が必要であることを示唆している。

関連論文リスト

• What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language [50.924716679241975]
  本稿では,自然言語仮説を自動生成し,検証するデータ駆動型手法を提案する。 3つのデータセットにまたがる実験結果から,本手法は解釈可能な仮説と予測可能な仮説を導出することが示された。
  論文  参考訳（メタデータ） (2026-10-01T12:58:49Z)
• Regime Boundary Alignment for Evidence-Gated Question Answering [14.305051281043378]
  RBA(Regime Boundary Alignment)は、同じ質問と金の答えの一致した変種について、単一の読者を訓練する。 3つの種にまたがる3つのマルチホップQAデータセットでは、RCAはサポート対象の回答率を60パーセント以上削減する。 結果は, 支持境界の両側で, 証拠有意な回答を学ばなければならないことを示唆している。
  論文  参考訳（メタデータ） (2026-09-25T18:48:13Z)
• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• Knowing but Not Showing: LLMs Recognize Ambiguity but Rarely Ask Clarifying Questions [17.694274559676867]
  曖昧であいまいであいまいな質問のモデルを3つの設定で評価する。 モデルは、明示的に判断するよう要求されたときに曖昧さを識別することが多いが、QA設定では、圧倒的にデフォルトで答えを指示する。
  論文  参考訳（メタデータ） (2026-05-24T22:36:58Z)
• Do LLMs Benefit From Their Own Words? [56.73014497206615]
  先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。 アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。 本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:26Z)
• Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping [31.704726867711955]
  本稿では,検出フレンドリーなトレース条件表現を学習するAnswer-agreement Representation Shaping(ARS)を提案する。 ARSは小さな潜伏介入によって反現実的な答えを生成する。 ARSは検出を継続的に改善し、強いベースラインよりも大幅に向上する。
  論文  参考訳（メタデータ） (2026-01-24T13:47:51Z)
• AQUA-Bench: Beyond Finding Answers to Knowing When There Are None in Audio Question Answering [58.04745279785462]
  Aqua-Benchは、Audio Question Unanswerability Assessmentのベンチマークである。 提案手法は,Absent Answer Detection,Incompatible Answer Set Detection,Incompatible Audio Question Detectionの3つのシナリオを体系的に評価する。 これらのケースを評価することで、Aqua-Benchはモデルの信頼性を厳格に測定する。
  論文  参考訳（メタデータ） (2026-01-18T03:55:28Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Can Users Detect Biases or Factual Errors in Generated Responses in Conversational Information-Seeking? [13.790574266700006]
  対話型情報検索システムにおける応答生成の限界について検討する。 本研究は,問合せ応答性の問題と応答不完全性の課題に対処する。 分析の結果,クエリ応答性よりも応答不完全性の検出が容易であることが判明した。
  論文  参考訳（メタデータ） (2024-10-28T20:55:00Z)
• DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
  われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。 FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。 本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
  論文  参考訳（メタデータ） (2021-10-15T17:34:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。