論文の概要: Judging by the Cover: Cleaning LLM Truthfulness Benchmarks to Avoid Surface-Level Feature Leakage

• arxiv url: http://arxiv.org/abs/2609.13003v1
• Date: Fri, 11 Sep 2026 16:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.800443
• Title: Judging by the Cover: Cleaning LLM Truthfulness Benchmarks to Avoid Surface-Level Feature Leakage
• Title（参考訳）: 表紙による判断:LLMの真正性ベンチマークをクリーニングして表面レベルの特徴漏洩を防ぐ
• Abstract要約: バイナリ選択真理ベンチマークは、正解と誤解のどちらを選ぶかをモデルに求める。 2つの答えが表面的特徴において体系的に異なる場合、モデルは意図した推論を行わずにチャンスを超えることができる。 この障害モードは検出可能であり、下流の分類器によって悪用できることを示す。
• 参考スコア（独自算出の注目度）: 6.00100484414311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary-choice truth benchmarks ask models to choose between a correct and an incorrect answer, but if the two answers differ systematically in surface-level features, models can exceed chance without performing the intended reasoning. We show that this failure mode is detectable and can be exploited by downstream classifiers. In TruthfulQA, a simple six-feature logistic classifier achieves substantial accuracy in separating correct from incorrect answers. We further show that similar surface-level artifacts are present in additional benchmarks. To counteract this, we developed a general mechanism to clean them by removing the most leakage-reinforcing pairs. We release a version of TruthfulQA with surface-feature leakage reduced close to chance and provide a mechanism, Audit-Prune, so that the datasets can be cleaned before release.
• Abstract（参考訳）: バイナリ選択真理ベンチマークは、正解と誤解のどちらを選ぶかをモデルに求めるが、2つの答えが表面的特徴において体系的に異なる場合、モデルは意図した推論を実行せずにチャンスを超えることができる。 この障害モードは検出可能であり、下流の分類器によって悪用できることを示す。 TruthfulQAでは、単純な6機能ロジスティック分類器が、正解と誤解を分離する際のかなりの精度を達成している。 さらに、同様の表面レベルのアーティファクトが追加のベンチマークに存在していることを示す。 これに対抗するため,最も漏れやすいペアを除去し,それらを浄化する一般的な機構を開発した。 TruthfulQAのサーフェールリークを低減したバージョンをリリースし、Audit-Pruneというメカニズムを提供し、リリース前にデータセットをクリーン化できるようにします。

関連論文リスト

• SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models [27.825867704129703]
  グレーボックスとブラックボックスの設定の両方に対して,textbfself-textbfreferential leakage 検出フレームワークを導入する。 SrDetectionは、ベンチマークサンプルのセマンティックに等価な変種を生成し、元のモデルの振る舞いとその変種との対比によってリークを検出する。 異なるモデルと訓練段階にわたって、SrDetectionはグレーボックス設定では平均F1を21.52ポイント、ブラックボックス設定では14.46ポイント改善している。
  論文  参考訳（メタデータ） (2026-06-29T05:48:42Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Attribution-Guided Model Rectification of Unreliable Neural Network Behaviors [60.06461883533697]
  我々は、ランクワンモデル編集を活用して、帰属誘導モデル修正フレームワークを確立する。 まず、既存のモデル編集と整合性の設定を区別し、信頼性の低い振る舞いを補正する定式化を行う。 そこで本研究では, 帰属誘導層ローカライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2026-03-08T01:06:07Z)
• Breaking the Adversarial Robustness-Performance Trade-off in Text Classification via Manifold Purification [7.908790490702219]
  テキスト分類(TC)における永続的な課題は、敵攻撃に対するモデル堅牢性の向上は、典型的にはクリーンデータのパフォーマンスを低下させることである。 この問題は、エンコーダ埋め込み多様体におけるクリーンサンプルの分布をモデル化することで解決できると論じる。 文の埋め込みを直接操作する2モジュールシステムであるManifold-Correcting Causal Flow (MC2F)を提案する。
  論文  参考訳（メタデータ） (2025-11-11T06:39:01Z)
• What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
  ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。 我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。 その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
  論文  参考訳（メタデータ） (2025-10-23T05:48:40Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• How Can I Publish My LLM Benchmark Without Giving the True Answers Away? [3.4155322317700585]
  大規模言語モデル(LLM)ベンチマークをインターネット上で公開することで、将来のLLMを汚染するリスクがある。 一般的な緩和策は、ベンチマークを非公開にし、参加者がモデルや予測をオーガナイザに提出できるようにすることである。 質問に対する根本的回答を完全に開示することなく,ベンチマークを公開する方法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T16:57:34Z)
• Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
  雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。 さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
  論文  参考訳（メタデータ） (2023-01-02T07:13:28Z)
• Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
  分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。 我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。 我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
  論文  参考訳（メタデータ） (2022-02-01T13:22:26Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。