論文の概要: Knowing Is Not Enough: Information Retrievability as a Precondition to Effective LLM Oversight

• arxiv url: http://arxiv.org/abs/2609.01976v1
• Date: Wed, 02 Sep 2026 01:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.025081
• Title: Knowing Is Not Enough: Information Retrievability as a Precondition to Effective LLM Oversight
• Title（参考訳）: 知識は十分ではない: 効果的なLCM監視の前提条件としての情報検索可能性
• Abstract要約: 大規模言語モデル(LLM)は、組織的な作業にますます組み込まれていますが、エラーはしばしば人間のレビューをパスします。 我々は、人間の監視の代替的、検索ベースの説明を開発する。 自己生成による説明により誤り検出が改善し,検証関連推論のリコールが強化されることを示す。
• 参考スコア（独自算出の注目度）: 1.4891975420982513
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly embedded in organizational work, yet their errors often pass human review. Prior research locates such failures in users' capability to review LLM output or their engagement in doing so. We develop an alternative, retrieval-based account of human oversight and posit that error detection is more effective when oversight-relevant information is accessible to users at the moment of review. Across two randomized lab-in-the-field experiments with 640 customer-facing employees, we show that self-generated explanations improve error detection and strengthen recall of verification-relevant reasoning, while cues that reactivate such reasoning help sustain detection under repeated LLM use. Theoretically, we identify information retrievability as a distinct precondition for effective oversight and specify generative encoding and cue-supported reactivation as mechanisms that build and sustain it. Practically, lightweight onboarding self-explanations and daily retrieval cues can make human oversight more resilient as LLM use becomes routine.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、組織的な作業にますます組み込まれていますが、エラーはしばしば人間のレビューをパスします。 これまでの研究では、LCM出力をレビューするユーザや、それを行うユーザのエンゲージメントにおいて、そのような障害が検出されていた。 我々は、人間の監視の代替となる検索ベースのアカウントを開発し、レビューの時点で、監視関連情報がユーザにアクセス可能である場合、エラー検出がより効果的であることを示す。 640人の顧客を対象にした2つのランダム化ラボ・ザ・フィールド実験において、自己生成的説明は誤り検出を改善し、検証関連推論のリコールを強化する一方で、そのような推論を再活性化する手がかりは、繰り返しLLMの使用による検出の持続に有効であることを示す。 理論的には、情報検索可能性について、効果的な監視のための明確な前提条件として識別し、生成的エンコーディングとcue- supported reivationを構築・維持するメカニズムとして特定する。 実際には、軽量な自己説明と日々の検索手段は、LCMの使用が日常的に行われるようになるにつれて、人間の監視をよりレジリエントなものにすることができる。

関連論文リスト

• Beyond the Traceback: Using LLMs for Adaptive Explanations of Programming Errors [52.619793817715326]
  本稿では,LLM生成したPythonエラーメッセージを,多段階のクラウドソースで評価する。 LLMで書き直されたメッセージは主観評価を著しく向上させたが、これらの評価結果は客観的デバッグ性能の統計的に有意な改善には至らなかった。 これは重要なヒューマンとAIの相補性ギャップを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-08-21T09:14:28Z)
• Scalable and Robust LLM Unlearning by Correcting Responses with Retrieved Exclusions [49.55618517046225]
  Webスケールのコーパスリスクを記憶し、センシティブな情報を暴露する言語モデル。 本稿では,新しいアンラーニングフレームワークであるCorrective Unlearning with Retrieved Exclusions (CURE)を提案する。 CUREは、リークのモデル出力を確認し、安全な応答に修正する。
  論文  参考訳（メタデータ） (2025-09-30T09:07:45Z)
• Exploring the Impact of Instruction-Tuning on LLM's Susceptibility to Misinformation [3.032542495872679]
  本研究では,大規模言語モデルが誤情報に対する感受性に与える影響について検討する。 分析の結果,命令調整型LPMはユーザによって提示された誤情報を受けやすいことがわかった。
  論文  参考訳（メタデータ） (2025-07-24T08:58:47Z)
• Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth [18.069595635842557]
  クラウドソーシングワーカーによる大規模言語モデル(LLM)は、人間の入力を反映するデータセットに挑戦する。 LLMの共謀を考慮に入れたクラウドソーシングモデルの下で,理論的保証付き学習自由スコアリング機構を提案する。
  論文  参考訳（メタデータ） (2025-06-08T04:38:39Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Revealing and Mitigating the Challenge of Detecting Character Knowledge Errors in LLM Role-Playing [14.950721395944388]
  本稿では,KKE と UKE の誤り検出能力を評価するために RoleKE-Bench を提案する。 その結果,最新のLSMでさえ,これらの2種類の誤りを効果的に検出するのに苦労していることがわかった。 本稿では,エージェントに基づく推論手法であるSelf-RecollectionとSelf-Doubtを提案する。
  論文  参考訳（メタデータ） (2024-09-18T06:21:44Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。