論文の概要: How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure

• arxiv url: http://arxiv.org/abs/2609.30074v1
• Date: Thu, 24 Sep 2026 16:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.102649
• Title: How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure
• Title（参考訳）: 評価結論はどのように再現可能か? LLM-Inferred Prompt 構造の自己監査
• Abstract要約: LLMシステムの評価は、小さなプロンプトセットよりも平均的に行われ、ランキングテーブルとして報告される。 ケーススタディとして,LSMに基づくプロンプト構造推論を用いて,そのようなテーブルがどの程度の自信を持つべきかを問う。 Identical コールは、平均ノードセット Jaccard が 0.39 から 0.96 に、プロンプトモデルセルの 72% がノードセット完全ではないため、同じ構造を確実に回復しない。 我々は、ランク安定性、セルごとの証明、実行された感度比較、生のラン毎の出力、およびどのランキングと並んで測定日を報告することを推奨する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much confidence such a table deserves, using LLM-based prompt-structure inference as the case study: eight open model variants across five families and 8B to 675B parameters, caching disabled, 293 raw intermediate representations persisted. The measured phenomenon is unstable to begin with. Identical calls do not reliably recover identical structure, with mean node-set Jaccard from 0.39 to 0.96 and 72% of prompt-model cells never node-set-perfect. Auditing the evaluation weakens its conclusions further, and this is our main contribution. Under a joint cluster bootstrap over prompts, only the bottom of the ranking is firm: the two least reproducible models hold rank in 99% and 86% of replicates, the middle four in 27% to 48%, and the top two in 68% each, so the table identifies the worst model reliably but does not reliably identify the best. Two equally defensible rules for merging repeated campaigns change four of eight rows and move the study-wide headline by 7 percentage points. Checking the inferred structure against ground-truth annotations shows reproducibility cannot be read as accuracy. And four of the eight endpoints were withdrawn within ten weeks of measurement, so the study as specified can no longer be run. Small-sample LLM evaluations can therefore look far more definitive than their evidence supports. We recommend reporting rank stability, per-cell provenance, executed sensitivity comparisons, raw per-run outputs, and a measurement date alongside any ranking.
• Abstract（参考訳）: LLMシステムの評価は、小さなプロンプトセットよりも平均的に行われ、ランキングテーブルとして報告される。 LLMに基づくプロンプト構造推論を用いて、5つのファミリーに8つのオープンモデル変異、8Bから675Bパラメータ、キャッシング障害、293の生中間表現が持続する。 測定された現象は最初は不安定である。 Identical コールは、平均ノードセット Jaccard が 0.39 から 0.96 に、プロンプトモデルセルの 72% がノードセット完全ではないため、同じ構造を確実に回復しない。 評価を監査することで結論はさらに弱まり、これが私たちの主な貢献です。 2つの再現不可能なモデルが99%と86%の複製でランクを保ち、中間4つが27%から48%、上位2つが68%のプロンプトでランク付けされている。 繰り返し実施されるキャンペーンをマージするための2つの同じ保護可能なルールは、8行のうち4行を変更し、調査全体の見出しを7ポイントずつ移動させる。 地味なアノテーションに対して推論された構造をチェックすると、再現性は正確さでは読めない。 そして、8つのエンドポイントのうち4つは測定から10週間以内に取り下げられたため、指定された研究はもはや実行できない。 したがって、小さめのLCM評価は、彼らの証拠よりもはるかに決定的なように見える。 我々は、ランク安定性、セルごとの証明、実行された感度比較、生のラン毎の出力、およびどのランキングと並んで測定日を報告することを推奨する。

関連論文リスト

• Reliable Benchmarking of Artifact Detection in Computational Pathology: A Reproducibility and Uncertainty Analysis [1.8864137667201766]
  メソッド: このプロトコルは、テストセットサンプリング、トレーニング性、パーティション構成、文書化前処理の4つの変数ソースを定量化する。 拡散型人工物検出装置を独立に再構築し, 元の24スライディング分割と教師付きベースラインに対して評価した。 結果: 本手法の中枢機構は、補助的コントラスト項は、プールされたF1を0.673から0.688に改善し、第2シードで複製する。
  論文  参考訳（メタデータ） (2026-08-31T14:07:15Z)
• When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors [36.695407633693286]
  本稿では,データ参照エラー(DRE)を,異なるモデルやタスク間で初めて体系的に評価する。 以上の結果から,DREは全試験モデル (1.7Bから20Bパラメータ) にまたがって発生することが明らかとなった。 我々は,データ参照を批評家として取り入れることで,解答精度が最大12.0%向上することが実証された。
  論文  参考訳（メタデータ） (2026-06-30T17:54:50Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)
• EdgeJury: Cross-Reviewed Small-Model Ensembles for Truthful Question Answering on Serverless Edge Inference [0.0]
  EdgeJuryは、真実性と堅牢性を改善する軽量アンサンブルフレームワークです。 TruthfulQA (MC1)では、EdgeJuryの精度は76.2%である。 200-question adversarial EdgeCasesセットでは、EdgeJuryは+48.2%の利得を得る。
  論文  参考訳（メタデータ） (2025-12-29T14:48:40Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。