論文の概要: LLM-Based Test Oracles: Source-of-Authority Taxonomy -- A Systematic Literature Review

• arxiv url: http://arxiv.org/abs/2607.05031v1
• Date: Mon, 06 Jul 2026 13:13:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.157633
• Title: LLM-Based Test Oracles: Source-of-Authority Taxonomy -- A Systematic Literature Review
• Title（参考訳）: LLMベースのテストオラクル: Source-of-Authority Taxonomy -- 体系的な文献レビュー
• Abstract要約: 大規模な言語モデル(LLM)は、テストオラクルを生成するためにますます使われています。 しかし、これらの託宣が権威を引き出す場所に関する明確な説明が欠落している。 本稿は、PRISMA 2020ガイドラインに基づいて、系統的な文献レビューを行い、報告する。
• 参考スコア（独自算出の注目度）: 2.1958735004755976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to produce test oracles, the part of a test that decides whether observed behavior is correct. Yet a clear account of where these oracles draw their authority is missing. Prior secondary studies organize the area by oracle form or by LLM technique. None organizes it by the source of the verdict's authority, the property that governs how far a verdict can be trusted. This article presents a systematic literature review, conducted and reported under the PRISMA 2020 guidelines. From 2,436 records, an LLM pre-filter followed by independent dual human screening (reviewer agreement, a Cohen's kappa of 0.79) and full-text assessment yielded 54 included studies. We analyze these along three axes: the source of an oracle's authority, the form it takes, and the mechanism that adjudicates it. We characterize the landscape of domains, languages, models, and adaptation strategies. Specification-derived authority, though the most common single source, covers about half of the studies (28 of 54). The remaining 26 reach a verdict with no specification at all. The source of authority and the adjudication mechanism cross-cut: the same source is checked by several mechanisms and one mechanism serves several sources, so a label such as LLM-as-a-judge names a mechanism rather than a basis for trust. We further report how these oracles are evaluated and how they fail, and read the sparse and empty regions of the taxonomy as a research agenda. The protocol, search query, and per-study coding sheet are released as supplementary material.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、観察された振る舞いが正しいかどうかを決定するテストのオーラクルを生成するために、ますます使われるようになっている。 しかし、これらの託宣が権威を引き出す場所に関する明確な説明が欠落している。 以前の二次研究では、この領域はオラクル形式またはLLM技術によって組織化されていた。 判決がどこまで信用できるかを規定する財産である、判決の権威の源泉によって、誰もそれを組織しない。 本稿は、PRISMA 2020ガイドラインに基づいて、系統的な文献レビューを行い、報告する。 2,436件の記録から、LCMプレフィルターと独立したデュアルヒューマンスクリーニング(リビューア契約、コーエンのカッパ0.79)、全文評価は54件にのぼった。 我々はこれらを3つの軸に沿って分析する:神託の権威の源、その形、そしてそれを代弁するメカニズムである。 ドメイン、言語、モデル、適応戦略のランドスケープを特徴付ける。 仕様由来の権威は最も一般的な情報源であるが、研究の半分(54件中28件)をカバーしている。 残りの26は、仕様のない判決に達した。 同じ情報源が複数のメカニズムによってチェックされ、1つのメカニズムが複数のソースを提供するため、LSM-as-a-judgeのようなラベルは信頼の基盤ではなくメカニズムを名付ける。 さらに、これらのオークルがどのように評価され、どのように失敗するかを報告し、研究課題として、分類学のまばらで空の領域を読み取る。 補助材料として、プロトコル、検索クエリ、およびスタディ毎の符号化シートがリリースされる。

関連論文リスト

• Authority Bias in Conversational Search Engines for Academic Paper Recommendation [6.79278450433167]
  権威バイアスは、著者の権威、場所、引用に基づく論文を内容よりも体系的に選好する。 我々の実験では、権威バイアスは実質的かつ指向性があり、モデルによって顕著に異なり、プロンプトレベルのデバイアスによって部分的にしか対処できないことが示されている。
  論文  参考訳（メタデータ） (2026-08-31T18:49:14Z)
• OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
  OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。 回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。 OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
  論文  参考訳（メタデータ） (2026-01-04T15:48:51Z)
• The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge [17.555073770285095]
  大規模言語モデル(LLM)は、要約、対話、創造的執筆といったタスクにおいてシステム出力を評価する自動判断器として、ますます多くデプロイされている。 提案手法では,現行のLLM審査員は,プロンプトに導入したショートカットに頼って,両方のカウントでフェールすることを示す。
  論文  参考訳（メタデータ） (2025-09-30T10:48:08Z)
• SoK: Large Language Model Copyright Auditing via Fingerprinting [69.14570598973195]
  既存の手法をホワイトボックスとブラックボックスのアプローチに分類する統一的な枠組みと形式的な分類法を導入する。 現実的な展開シナリオ下でのLDMフィンガープリント評価のための最初の体系的ベンチマークであるLeaFBenchを提案する。
  論文  参考訳（メタデータ） (2025-08-27T12:56:57Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• Can Large Language Models Identify Authorship? [16.35265384114857]
  大規模言語モデル(LLM)は、推論と問題解決の特別な能力を示している。 1) LLM はゼロショット・エンド・ツー・エンドのオーサシップ検証を効果的に行うことができるか? 2) LLM は,複数の候補作家(例えば,10,20)の著者を正確に帰属させることができるか?
  論文  参考訳（メタデータ） (2024-03-13T03:22:02Z)
• Sentiment Analysis through LLM Negotiations [58.67939611291001]
  感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。 本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T12:35:29Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。