論文の概要: Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens

• arxiv url: http://arxiv.org/abs/2610.28187v1
• Date: Tue, 20 Oct 2026 13:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.82948
• Title: Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens
• Title（参考訳）: ジャコビアンレンズを用いたLCM試験失敗の予報と特徴化
• Abstract要約: LLMベースのソフトウェアをテストするのは高価で、各入力にはいくつかのサンプル応答が必要で、それぞれが高価なオラクルで判断される。 Forewordは、2つのアイデアに基づいて構築されたフレームワークで、パスとフェールの両方から学び、ヤコビアンレンズを通して入力を表現する。
• 参考スコア（独自算出の注目度）: 6.515000286868857
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Testing LLM-based software is expensive: each input needs several sampled responses, each judged by a costly oracle. Further, every prompt or model change calls for re-testing. Pre-generation adequacy measures cut this cost by ranking inputs by failure risk based on the model's internal state. However, the state of the art, Clotho, models only passing reference inputs, and its hidden-state representation says nothing about why inputs fail. We present Foreword, a framework built on two ideas: learn from both passing and failing references, and represent inputs through the Jacobian lens (J-lens), an interpretability technique that reads intermediate activations out as scores over vocabulary tokens. Foreword pairs these representations with two estimators: a sparse logistic-regression probe or dual Gaussian Mixture Models (dual GMMs), which also yield a reference density (to flag inputs the references do not cover) and failing-class components (to group similar failures). On ten tasks and three open-weight LLMs, all four combinations of representations and estimators outperform Clotho on average, both for prediction of failure (ROC-AUC improves by 0.14 on average and by up to 0.31) and test prioritisation (15% more failures among the 100 top-ranked inputs on average, up to 33%). Prioritisation obtained using small models also transfers better to proprietary models (on average 22% and up to 41% more failures in the first quarter of prioritised inputs). Importantly, our qualitative case study shows that Foreword supports semantic characterisation of failures by pointing to ambiguities in labels or task specifications. Combined, Foreword can support testers for prioritising inputs, checking support for a prediction, and characterising specific failures, all without generating output.
• Abstract（参考訳）: LLMベースのソフトウェアをテストするのは高価で、各入力にはいくつかのサンプル応答が必要で、それぞれが高価なオラクルで判断される。 さらに、すべてのプロンプトやモデルの変更は再テストを要求する。 プレジェネレーションの精度測定は、モデルの内部状態に基づいて入力を失敗リスクによってランク付けすることで、このコストを削減した。 しかし、最先端のClothoは参照入力のみを渡すモデルであり、その隠された状態表現は入力が失敗した理由について何も述べていない。 本稿では,2つの概念に基づいて構築されたフレームワークであるフォアワードについて述べる。このフレームワークは参照の通過と失敗の両方から学習し,ジャコビアンレンズ(J-lens)を通して入力を表現する。 フォアワードはこれらの表現を2つの推定器と組み合わせる: スパースロジスティック回帰プローブまたは双対ガウス混合モデル(双対GMM)。 10のタスクと3つのオープンウェイトLCMでは、表現と推定の組合せがクロト平均よりも優れており、失敗の予測(ROC-AUCは平均0.14、最大0.31)とテスト優先(平均33%までのトップランクインプット100のうち15%が失敗)が可能である。 小さなモデルを用いて得られた優先順位付けは、プロプライエタリなモデル(平均22%、優先入力の第1四半期で最大41%の失敗)により良い結果をもたらす。 重要なケーススタディとして、Forewordはラベルやタスク仕様の曖昧さを指して、障害の意味的特徴化をサポートしています。 Forewordは、インプットの優先順位付け、予測のサポートのチェック、特定の障害の特徴付けを、アウトプットを発生させることなくサポートする。

関連論文リスト

• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Clotho: Measuring Task-Specific Pre-Generation Test Adequacy for LLM Inputs [6.862079218077768]
  特定のタスクで大規模言語モデルをテストするのは難しくてコストがかかります。 重要な課題は、タスクの要求を反映した方法で入力精度を評価することである。 タスク固有のプレジェネレーションアプライバシ尺度であるCLOTHOを導入する。
  論文  参考訳（メタデータ） (2025-09-22T02:34:09Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• PromptSync: Bridging Domain Gaps in Vision-Language Models through Class-Aware Prototype Alignment and Discrimination [14.50214193838818]
  CLIPのようなビジョン言語(V-L)モデルのゼロショット一般化は、広く採用されている。 従来の手法では、テスト時のプロンプトチューニングを使用して、モデルを目に見えない領域に適応させたが、不均衡なクラス分布の問題を見落としていた。 本研究では,テストサンプルとフィルタ付き拡張ビューで得られた平均クラス確率によって重み付けされたクラス認識型プロトタイプアライメントを採用する。
  論文  参考訳（メタデータ） (2024-04-11T07:26:00Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。