論文の概要: Knowing Is Not Enough: Information Retrievability as a Precondition to Effective LLM Oversight

• arxiv url: http://arxiv.org/abs/2609.01976v1
• Date: Wed, 02 Sep 2026 01:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.025081
• Title: Knowing Is Not Enough: Information Retrievability as a Precondition to Effective LLM Oversight
• Title（参考訳）: 知識は十分ではない: 効果的なLCM監視の前提条件としての情報検索可能性
• Authors: Xinyu Fu, Narayan Ramasubbu, Dennis Galletta,
• Abstract要約: 大規模言語モデル(LLM)は、組織的な作業にますます組み込まれていますが、エラーはしばしば人間のレビューをパスします。 我々は、人間の監視の代替的、検索ベースの説明を開発する。 自己生成による説明により誤り検出が改善し,検証関連推論のリコールが強化されることを示す。
• 参考スコア（独自算出の注目度）: 1.4891975420982513
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly embedded in organizational work, yet their errors often pass human review. Prior research locates such failures in users' capability to review LLM output or their engagement in doing so. We develop an alternative, retrieval-based account of human oversight and posit that error detection is more effective when oversight-relevant information is accessible to users at the moment of review. Across two randomized lab-in-the-field experiments with 640 customer-facing employees, we show that self-generated explanations improve error detection and strengthen recall of verification-relevant reasoning, while cues that reactivate such reasoning help sustain detection under repeated LLM use. Theoretically, we identify information retrievability as a distinct precondition for effective oversight and specify generative encoding and cue-supported reactivation as mechanisms that build and sustain it. Practically, lightweight onboarding self-explanations and daily retrieval cues can make human oversight more resilient as LLM use becomes routine.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、組織的な作業にますます組み込まれていますが、エラーはしばしば人間のレビューをパスします。 これまでの研究では、LCM出力をレビューするユーザや、それを行うユーザのエンゲージメントにおいて、そのような障害が検出されていた。 我々は、人間の監視の代替となる検索ベースのアカウントを開発し、レビューの時点で、監視関連情報がユーザにアクセス可能である場合、エラー検出がより効果的であることを示す。 640人の顧客を対象にした2つのランダム化ラボ・ザ・フィールド実験において、自己生成的説明は誤り検出を改善し、検証関連推論のリコールを強化する一方で、そのような推論を再活性化する手がかりは、繰り返しLLMの使用による検出の持続に有効であることを示す。 理論的には、情報検索可能性について、効果的な監視のための明確な前提条件として識別し、生成的エンコーディングとcue- supported reivationを構築・維持するメカニズムとして特定する。 実際には、軽量な自己説明と日々の検索手段は、LCMの使用が日常的に行われるようになるにつれて、人間の監視をよりレジリエントなものにすることができる。

関連論文リスト

• Beyond the Traceback: Using LLMs for Adaptive Explanations of Programming Errors [52.619793817715326]
  本稿では,LLM生成したPythonエラーメッセージを,多段階のクラウドソースで評価する。 LLMで書き直されたメッセージは主観評価を著しく向上させたが、これらの評価結果は客観的デバッグ性能の統計的に有意な改善には至らなかった。 これは重要なヒューマンとAIの相補性ギャップを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-08-21T09:14:28Z)
• Scalable and Robust LLM Unlearning by Correcting Responses with Retrieved Exclusions [49.55618517046225]
  Webスケールのコーパスリスクを記憶し、センシティブな情報を暴露する言語モデル。 本稿では,新しいアンラーニングフレームワークであるCorrective Unlearning with Retrieved Exclusions (CURE)を提案する。 CUREは、リークのモデル出力を確認し、安全な応答に修正する。
  論文  参考訳（メタデータ） (2025-09-30T09:07:45Z)
• Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth [18.069595635842557]
  クラウドソーシングワーカーによる大規模言語モデル(LLM)は、人間の入力を反映するデータセットに挑戦する。 LLMの共謀を考慮に入れたクラウドソーシングモデルの下で,理論的保証付き学習自由スコアリング機構を提案する。
  論文  参考訳（メタデータ） (2025-06-08T04:38:39Z)
• Revealing and Mitigating the Challenge of Detecting Character Knowledge Errors in LLM Role-Playing [14.950721395944388]
  本稿では,KKE と UKE の誤り検出能力を評価するために RoleKE-Bench を提案する。 その結果,最新のLSMでさえ,これらの2種類の誤りを効果的に検出するのに苦労していることがわかった。 本稿では,エージェントに基づく推論手法であるSelf-RecollectionとSelf-Doubtを提案する。
  論文  参考訳（メタデータ） (2024-09-18T06:21:44Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。