論文の概要: When the Same Prompt Gives Different Answers (and the Same Answer Isn't Always Right): A Taxonomy of Failure Mechanisms, Testing, and Mitigation Strategies for LLM-Assisted Evidence Synthesis Read-and-Evaluate Tasks

• arxiv url: http://arxiv.org/abs/2610.39070v1
• Date: Thu, 29 Oct 2026 00:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.020231
• Title: When the Same Prompt Gives Different Answers (and the Same Answer Isn't Always Right): A Taxonomy of Failure Mechanisms, Testing, and Mitigation Strategies for LLM-Assisted Evidence Synthesis Read-and-Evaluate Tasks
• Title（参考訳）: 同じプロンプトが異なる答えを与えるとき(そして同じ答えが常に正しいとは限らない) : LLM支援エビデンス合成作業における障害機構, 試験, 緩和戦略の分類
• Abstract要約: 正しい判断は、基礎となる評価プロセスが信頼できることを必ずしも示さない。 これらの特性を損なう可能性のあるメカニズムを特定するための分類法を開発した。 繰り返し可能性や精度がなぜ隠れた判断失敗を除外しないのかを示す。
• 参考スコア（独自算出の注目度）: 3.5303839807549093
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM read-and-evaluate tasks include study screening, data extraction, risk-of-bias assessment, and critical appraisal in the evidence synthesis field. These task differ in the amount of LLM interpretation they require. Some tasks involve retrieving relatively simple information, such as an author name, sample size, or publication year. Others require the LLM to read source material, interpret it against predefined criteria, and make a judgement. Researchers should assess whether LLM judgements are accurate, supported by appropriate source evidence, and reproducible under specified conditions. A correct judgement does not necessarily indicate that the underlying evaluation process is reliable. We developed a taxonomy for identifying mechanisms that may compromise these properties and for informing the selection and reporting of appropriate evaluation methods. The taxonomy outlines potential ways that LLM judgments from read-and-evaluate tasks can fail, called TRAILS (Taxonomy of Reliability And Instability in LLM-assisted evidence Synthesis). The TRAILS taxonomy addresses two complementary questions. First, what mechanisms can cause the same read-and-evaluate task to produce different judgements across repeated LLM runs? Second, what mechanisms can systematically affect the judgement or required output in a way that is not apparent from the judgement itself? This study presents 38 mechanisms and identifies the deployment settings in which each can operate, approaches for testing them, and mitigation strategies. We also show why repeatability or accuracy does not rule out a hidden judgement failure and why human evaluation should assess whether a judgement is grounded in the supplied evidence, independent of inappropriate external influence, and produced through a process that can be examined and verified.
• Abstract（参考訳）: LLMの読み・評価タスクには、調査スクリーニング、データ抽出、リスク・オブ・バイアス評価、エビデンス合成分野における重要な評価が含まれる。 これらのタスクは、それらが必要とするLLM解釈の量が異なる。 いくつかのタスクには、著者名、サンプルサイズ、出版年など、比較的単純な情報を取得することが含まれる。 その他には、LLMがソース資料を読み、事前定義された基準に対してそれを解釈し、判断することを要求するものもある。 研究者は、LLM判定が正確か、適切な証拠によって支持され、特定の条件下で再現可能であるかを評価する必要がある。 正しい判断は、基礎となる評価プロセスが信頼できることを必ずしも示さない。 我々は,これらの特性を損なう可能性のあるメカニズムを同定し,適切な評価方法の選択と報告を行うための分類法を開発した。 この分類法は、TRAILS (Taxonomy of Reliability and Instability in LLM-assisted evidence synthesis) と呼ばれる、読み・評価タスクからのLCMの判断が失敗する可能性について概説している。 TRAILS分類は2つの相補的な問題に対処する。 まず、同じ読み・評価タスクが繰り返しLLM実行中に異なる判断を発生させるメカニズムは何でしょうか? 第二に、判断そのものから明らかでない方法で、判断や必要な出力に体系的に影響を及ぼすメカニズムは何か。 本研究は38のメカニズムを示し,それぞれが運用可能なデプロイメント設定,テストのためのアプローチ,緩和戦略を識別する。 また, 再現性や精度が, 隠れた判断失敗を排除しない理由や, 人間の評価が, 不適切な外部の影響によらず, 提示された証拠に根拠があるかどうかを判断し, 検証し, 検証できるプロセスによって生成する理由も示す。

関連論文リスト

• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
  内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。 大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。 本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
  論文  参考訳（メタデータ） (2026-02-08T12:28:29Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Who's Your Judge? On the Detectability of LLM-Generated Judgments [37.318998323301365]
  大言語モデル(LLM)に基づく判断は、強力なLLMを活用して、候補内容の効率よく評価し、判定スコアを提供する。 本研究は,判断検出の課題を提示し,定式化するものである。 我々は、明示的に抽出された言語的特徴とLLM強化特徴を付加した、軽量で透明なニューラル検出器であるtextitJ-Detectorを紹介した。
  論文  参考訳（メタデータ） (2025-09-29T17:54:57Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• A Framework for Evaluating LLMs Under Task Indeterminacy [49.298107503257036]
  大規模言語モデル(LLM)の評価は、評価コーパスの各項目に対して単一の正しい応答(ゴールドラベル)があると仮定することが多い。 タスク不確定性の下でLLMを評価するためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-11-21T00:15:44Z)
• Limitations of Automatic Relevance Assessments with Large Language Models for Fair and Reliable Retrieval Evaluation [2.9180406633632523]
  大規模言語モデル(LLM)は,自動関連性評価ツールとして注目されている。 近年の研究では、LLMに基づく評価が、人為的判断と高いシステムランキングの相関をもたらすことが示されている。 我々は,LLMによる判断が,上位評価システム間の順位差をいかに保っているか,また,人間の判断として相互に重要な評価を保っているかを検討する。
  論文  参考訳（メタデータ） (2024-11-20T11:19:35Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers [13.644277507363036]
  Revealed Beliefは,不確実性を考慮した推論を必要とするタスクに対して,Large Language Models (LLMs)を評価する評価フレームワークである。 以上の結果から,LSMは正しい回答をしばしば述べるが,Revealed Beliefは確率質量を不整合に割り当てることが多く,体系的な偏見を示し,新しい証拠が提示された時にその信念を適切に更新することができないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T08:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。