論文の概要: Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

• arxiv url: http://arxiv.org/abs/2607.22766v1
• Date: Fri, 24 Jul 2026 03:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.870986
• Title: Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation
• Title（参考訳）: Beyond Shapley: LLMアライメントと評価のための影響ベースのデータ監査パイプライン
• Abstract要約: 反復モデルの再トレーニングなしにShapley値を近似する,スケーラブルで推論のみのデータアベイラビリティパイプラインを導入する。 重厚な2つのアライメントデータセットの衛生化におけるパイプラインの有効性を実証する。
• 参考スコア（独自算出の注目度）: 2.733105115068754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The alignment of Large Language Models (LLMs) is increasingly bottlenecked by data quality. As datasets scale, massive preference and instruction-tuning corpora inevitably accumulate hidden structural contradictions, safety risks, and systemic human annotation errors. Standard dataset auditing methods, such as semantic deduplication or LLM-as-a-judge, struggle to capture the actual predictive impact of individual records and often miss deep functional rule clashes. To address this, we introduce a scalable, inference-only data valuation pipeline that approximates the Shapley value without iterative model retraining. By mapping semantic k-NN neighborhoods into a directed graph, our framework evaluates data utility directly through a reference LLM's probability distribution using zero-shot and one-shot conditional log-likelihood shifts. Our pipeline then translates these predictive influence scores into localized advantage metrics to isolate gradient-conflicting records. We demonstrate the pipeline's efficacy in sanitizing two heavily vetted alignment datasets. First, applying our pipeline to the HelpSteer2 dataset reduced the manual audit search space by 99.1%, successfully uncovering falsely-labeled records across diverse failure modes. Second, applying our automated audit strategy to Anthropic's HH-RLHF training and evaluation splits identified thousands of hidden safety and factual preference inversions. Crucially, by extending this audit to the evaluation split, we expose severe vulnerabilities in current benchmark integrity: highly capable models frequently predict the safer or more helpful response, only to be penalized by objectively flawed human ground-truth labels. Overall, our work provides a mathematically grounded, highly efficient diagnostic tool to uncover human label failures, sanitize evaluation benchmarks, and ensure the integrity of LLM alignment data.
• Abstract（参考訳）: 大規模言語モデル(LLM)の整合性は、データ品質によってますますボトルネックになっている。 データセットがスケールするにつれて、大規模な選好と命令調整コーパスは必然的に隠れた構造上の矛盾、安全性のリスク、システム的な人間のアノテーションエラーを蓄積する。 意味的重複やLSM-as-a-judgeのような標準的なデータセット監査手法は、個々のレコードの実際の予測的影響を捉えるのに苦労し、しばしば深い機能的ルール衝突を見逃す。 これを解決するために、反復モデルの再トレーニングなしでShapley値を近似するスケーラブルで推論のみのデータ評価パイプラインを導入します。 セマンティックk-NN地区を有向グラフにマッピングすることにより、ゼロショットとワンショット条件付きログのようなシフトを用いて、参照LLMの確率分布を介してデータユーティリティを直接評価する。 パイプラインは、これらの予測的影響スコアを局所化された利点メトリクスに変換して、勾配競合レコードを分離する。 重厚な2つのアライメントデータセットの衛生化におけるパイプラインの有効性を実証する。 まず、私たちのパイプラインをHelpSteer2データセットに適用することで、手動の監査検索スペースを99.1%削減し、さまざまな障害モードにわたる誤ったラベル付きレコードの発見に成功した。 第2に、自動監査戦略をArthropicのHH-RLHFトレーニングと評価に応用し、数千の隠れた安全性と事実的嗜好の逆を同定した。 重要なことに、この監査を評価分割にまで拡張することで、現在のベンチマークの完全性における深刻な脆弱性を明らかにする。 全体として、我々の研究は、人間のラベルの故障を解明し、評価ベンチマークを浄化し、LCMアライメントデータの整合性を確保するために、数学的に基礎を置き、非常に効率的な診断ツールを提供する。

関連論文リスト

• A Step Towards Robust Unsupervised Domain Adaptation via Fine-Tuning and Reinforcement Learning [2.436631469537453]
  我々は,2段階の堅牢なUDAフレームワークである textbfSFT+RL を提案し,Supervised Fine Tuning と Reinforcement Learning を統合した。 textbfSFT+RLは、清潔な精度で textbf10.2% を平均的に改善し、textbf15.8% を3つのデータセットで比較した。
  論文  参考訳（メタデータ） (2026-07-03T20:56:12Z)
• CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
  大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。 我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。 CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-02T13:07:43Z)
• Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges [39.6038287387348]
  LLMに基づく審査員の行動は自然なルーリックによってガイドされ、ベンチマークで検証される。 我々は、このワークフローにおいて、事前に認識されていない脆弱性を識別し、このワークフローは、Preference Drift (RIPD) という用語で表現する。 我々は、この脆弱性を選好攻撃によって悪用できることを示し、そこでは、ベンチマーク準拠者が、固定された人間またはターゲットドメインの信頼された参照から、ステア判断を編集する。
  論文  参考訳（メタデータ） (2026-02-14T03:19:14Z)
• Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• Stress-Testing ML Pipelines with Adversarial Data Corruption [11.91482648083998]
  規制当局は現在、ハイテイクシステムは現実的で相互依存的なエラーに耐えられるという証拠を要求している。 SAVAGEは依存性グラフとフレキシブルな汚いテンプレートを通じて、データ品質の問題を正式にモデル化するフレームワークです。 Savanageは、脆弱性のあるデータサブポピュレーションと微調整による汚職の深刻度を効率的に識別するために、双方向の最適化アプローチを採用している。
  論文  参考訳（メタデータ） (2025-06-02T00:41:24Z)
• Scalable Valuation of Human Feedback through Provably Robust Model Alignment [18.151660339831718]
  頑健なアライメント目的は、厳密なラベルノイズの下でも同一のモデルパラメータを生成するべきである。 証明可能な再帰特性を持つ最初の原理的アライメント損失であるH"older-DPOを提案する。 このメトリクスはグラデーションフリーで、スケーラブルで自動化された人間のフィードバックの評価を可能にする。
  論文  参考訳（メタデータ） (2025-05-23T13:12:37Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。