論文の概要: Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis

• arxiv url: http://arxiv.org/abs/2506.04142v1
• Date: Wed, 04 Jun 2025 16:33:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.47146
• Title: Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis
• Title（参考訳）: ショートカットニューロン解析による信頼できるLCM評価の確立
• Authors: Kejian Zhu, Shangqing Tu, Zhuoran Jin, Lei Hou, Juanzi Li, Jun Zhao,
• Abstract要約: 我々は汚染されたモデル自体のメカニズムを解析することで汚染に対処することを目指している。 本稿では,ショートカットニューロンを比較解析と因果解析により同定する手法を提案する。 汚染軽減のためのアプローチの有効性を実験により検証した。
• 参考スコア（独自算出の注目度）: 43.58944424023784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of large language models (LLMs) depends on trustworthy evaluation. However, most current evaluations rely on public benchmarks, which are prone to data contamination issues that significantly compromise fairness. Previous researches have focused on constructing dynamic benchmarks to address contamination. However, continuously building new benchmarks is costly and cyclical. In this work, we aim to tackle contamination by analyzing the mechanisms of contaminated models themselves. Through our experiments, we discover that the overestimation of contaminated models is likely due to parameters acquiring shortcut solutions in training. We further propose a novel method for identifying shortcut neurons through comparative and causal analysis. Building on this, we introduce an evaluation method called shortcut neuron patching to suppress shortcut neurons. Experiments validate the effectiveness of our approach in mitigating contamination. Additionally, our evaluation results exhibit a strong linear correlation with MixEval, a recently released trustworthy benchmark, achieving a Spearman coefficient ($\rho$) exceeding 0.95. This high correlation indicates that our method closely reveals true capabilities of the models and is trustworthy. We conduct further experiments to demonstrate the generalizability of our method across various benchmarks and hyperparameter settings. Code: https://github.com/GaryStack/Trustworthy-Evaluation
• Abstract（参考訳）: 大規模言語モデル(LLM)の開発は信頼できる評価に依存している。 しかし、現在の評価のほとんどは公開ベンチマークに依存しており、公正性を著しく損なうデータ汚染の問題が発生しやすい。 これまでの研究は、汚染に対処する動的ベンチマークの構築に重点を置いてきた。 しかし、新しいベンチマークを継続的に構築することはコストが高く循環的です。 本研究では,汚染されたモデル自体のメカニズムを解析し,汚染に対処することを目的とする。 実験により, 汚染されたモデルの過大評価は, トレーニングにおけるショートカット解の獲得パラメータによる可能性が示唆された。 さらに、比較解析と因果解析により、ショートカットニューロンを同定する新しい手法を提案する。 そこで我々は, ショートカットニューロンのパッチングという評価手法を導入し, ショートカットニューロンの抑制について検討した。 汚染軽減のためのアプローチの有効性を実験により検証した。 さらに,この評価結果は,最近発表された信頼に値するベンチマークであるMixEvalと強い線形相関を示し,Spearman係数(\rho$)が0.95を超えている。 この高い相関関係は,本手法がモデルの真の能力を明らかにし,信頼性が高いことを示している。 我々は、様々なベンチマークやハイパーパラメータ設定にまたがる手法の一般化可能性を示すために、さらなる実験を行う。 コード:https://github.com/GaryStack/Trustworthy-Evaluation

関連論文リスト

• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
  凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。 本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。 また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
  論文  参考訳（メタデータ） (2026-01-31T23:45:50Z)
• When Benchmarks Leak: Inference-Time Decontamination for LLMs [4.071875179293035]
  DeconIEPは入力埋め込み空間に小さな有界摂動を適用することにより、評価中に完全に動作する。 入力埋め込み空間に小さな有界摂動を適用することで、評価中に完全に動作する除染フレームワークであるDeconIEPを提案する。
  論文  参考訳（メタデータ） (2026-01-27T08:19:40Z)
• On The Fragility of Benchmark Contamination Detection in Reasoning Models [20.455365567122985]
  LRMのリーダーボードは、評価を競合に転換し、開発者がベンチマークスイート上で直接最適化するインセンティブを与えている。 より高いランキングを達成するためのショートカットは、評価ベンチマークをトレーニングデータに組み込むことで、ベンチマーク汚染と呼ばれる膨らませたパフォーマンスを得る。 LRMに対する汚染検出の回避は極めて容易であることが判明した。
  論文  参考訳（メタデータ） (2025-09-30T21:40:54Z)
• Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination [67.67725938962798]
  大規模なWebスケールコーパスの事前トレーニングは、広く使用されているベンチマークでデータ汚染の影響を受けやすいQwen2.5が残る。 我々はRandomCalculationと呼ばれる任意の長さと難易度を持つ完全クリーンな算術問題を生成するジェネレータを導入する。 精度の高い報酬信号のみがベースモデルの性能境界を超える安定した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-07-14T17:55:15Z)
• Model-agnostic Mitigation Strategies of Data Imbalance for Regression [0.0]
  データ不均衡は、回帰タスクにおいて広範囲にわたる課題として持続し、モデルパフォーマンスのバイアスを導入し、予測信頼性を損なう。 既存のサンプリング手法を構築・改善する高度な緩和手法を提案する。 モデルのアンサンブル(不均衡緩和で訓練されたモデルと、非バランスで訓練されたモデル)の構築は、これらの負の効果を著しく減少させることを実証する。
  論文  参考訳（メタデータ） (2025-06-02T09:46:08Z)
• On Minimax Estimation of Parameters in Softmax-Contaminated Mixture of Experts [66.39976432286905]
  ゲーティングおよびプロンプトパラメータの最大極大推定器の収束率について検討する。 事前学習したモデルと重なり合う知識を取得すると,これらのパラメータの推定可能性が損なわれることがわかった。
  論文  参考訳（メタデータ） (2025-05-24T01:30:46Z)
• Testing and Improving the Robustness of Amortized Bayesian Inference for Cognitive Models [0.5223954072121659]
  汚染物質観測とアウトリーチは、認知モデルのパラメータを推定する際にしばしば問題を引き起こす。 本研究では,アモルタイズされたベイズ推定を用いたパラメータ推定のロバスト性を検証・改善する。 提案手法は実装が簡単で実用的であり,外乱検出や除去が困難な分野に適用可能である。
  論文  参考訳（メタデータ） (2024-12-29T21:22:24Z)
• PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models [41.772263447213234]
  大規模言語モデル(LLM)は膨大な量のデータに基づいて訓練されることが知られており、意図的または故意によく使われるベンチマークのデータを含むことがある。 このインクルージョンは、モデルリーダーボードの不正な高いスコアにつながるが、現実のアプリケーションではパフォーマンスに失望する。 LLMのベンチマーク汚染を効果的に検出するPaired Confidence Significance TestingであるPaCoSTを紹介する。
  論文  参考訳（メタデータ） (2024-06-26T13:12:40Z)
• A LLM-Based Ranking Method for the Evaluation of Automatic Counter-Narrative Generation [14.064465097974836]
  本稿では,Large Language Model (LLM) を用いた対数ナラティブ(CN)生成の評価手法を提案する。 従来の自動指標は, 人間の判断と相関が低く, 生成したCNと人間の知覚との微妙な関係を捉えることができないことを示す。
  論文  参考訳（メタデータ） (2024-06-21T15:11:33Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• Fake It Till You Make It: Near-Distribution Novelty Detection by Score-Based Generative Models [54.182955830194445]
  既存のモデルは、いわゆる"近く分布"設定で失敗するか、劇的な低下に直面します。 本稿では, スコアに基づく生成モデルを用いて, 合成近分布異常データを生成することを提案する。 本手法は,9つのノベルティ検出ベンチマークにおいて,近分布ノベルティ検出を6%改善し,最先端のノベルティ検出を1%から5%パスする。
  論文  参考訳（メタデータ） (2022-05-28T02:02:53Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。