論文の概要: RH-Detect: A Unified Benchmark for Reward Hacking Detection

• arxiv url: http://arxiv.org/abs/2610.10947v1
• Date: Wed, 07 Oct 2026 21:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.685204
• Title: RH-Detect: A Unified Benchmark for Reward Hacking Detection
• Title（参考訳）: RH-Detect: 逆ハック検出のための統一ベンチマーク
• Abstract要約: 本稿では,11の公開データセットからの報酬ハック関連サブセットを共通スキーマに組み合わせたベンチマークを提案する。 我々は5つのファミリーの既製の言語モデル6つを、追加の訓練を伴わずにハッキング検知器として評価した。 しかし、最も強力な4つのモデルでは、MALTとTRACEの2つのマルチターンツール使用データセットの精度は他のソースよりも10.7-15.9ポイント低い。
• 参考スコア（独自算出の注目度）: 17.61067518696374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward hacking, where a model exploits an evaluation signal without completing the intended task, threatens the reliability of deployed language model systems. Existing datasets use different labels, response formats, and metadata conventions, making detector results difficult to compare. We present RH-Detect, a benchmark that combines reward-hacking-relevant subsets from eleven public datasets, comprising 92,761 rows and six behavior categories, into a common schema. On 5,021 open-ended evaluation units, each comprising a task prompt and a free-form model continuation, including multi-turn tool-use trajectories, we evaluate six off-the-shelf language models from five families as reward hacking detectors without additional training. The best model achieves a pooled AUROC of 0.962, with accuracy above 93%. For the four strongest models, however, accuracy on the two multi-turn tool-use datasets, MALT and TRACE, is 10.7-15.9 percentage points lower than on the other sources at a common decision threshold, highlighting a key gap for deployment-time monitoring. We find that different input formats have different effects across models. Removing thinking raises Qwen3.5-4B AUROC from 0.779 to 0.849, but lowers Qwen Flash from 0.977 to 0.950. We also evaluate the benchmark as a training dataset for detectors. Holding out each source in turn, single-token SFT improves average AUROC on five of six held-out sources. A GRPO follow-up on that failure case yields a slight improvement in detection performance. Our results show that a single pooled score can conceal variation across data sources, detector inputs, and training procedures.
• Abstract（参考訳）: モデルが意図したタスクを完了せずに評価信号を利用するリワードハックは、デプロイされた言語モデルシステムの信頼性を脅かす。 既存のデータセットでは、ラベルやレスポンスフォーマット、メタデータの規則が異なるため、検出結果の比較が難しい。 我々は、92,761行と6つの行動カテゴリからなる11のパブリックデータセットからの報酬ハック関連サブセットを共通スキーマに組み合わせたベンチマークRH-Detectを提案する。 タスクプロンプトと,マルチターンツール利用トラジェクトリを含むフリーフォームモデル継続を含む5,021個のオープンエンド評価ユニットについて,5つのファミリーの既製の言語モデル6つを,追加の訓練を伴わない報酬ハッキング検出装置として評価した。 最高のモデルでは93%以上の精度で0.962のAUROCをプールする。 しかし、最も強力な4つのモデルでは、MALTとTRACEの2つのマルチターンツール使用データセットの精度は他のソースよりも10.7-15.9パーセント低い。 異なる入力形式はモデルによって異なる効果を持つことがわかった。 思考の除去により、Qwen3.5-4B AUROCは0.779から0.849に上昇するが、Qwen Flashは0.977から0.950に低下する。 また,このベンチマークを検出器のトレーニングデータセットとして評価した。 SFTは、それぞれのソースを順番に保持することで、6つのホールドアウトソースのうち5つの平均AUROCを改善します。 その障害事例に対するGRPOフォローアップは、検出性能をわずかに改善する。 以上の結果から,データソース,検出入力,トレーニング手順の変動を1つのプールスコアで隠蔽できることが示唆された。

関連論文リスト

• Provenance, Not Behaviour: A Serialisation Artifact in Edge-IIoTset and a Leakage-Free Benchmark for Precision-Agriculture Intrusion Detection [0.0]
  Edge-IIoTsetは、IoTにおける機械学習侵入検出のベンチマークである。 そのパフォーマンスの多くは侵入検出ではないことが示されています。 AgriEdge:1,276,122行、完全な属性を持つ5つのデバイス、0.0288以上のクラスを分離する列がない。
  論文  参考訳（メタデータ） (2026-08-16T14:30:45Z)
• Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
  マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。 ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。 チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
  論文  参考訳（メタデータ） (2026-07-17T20:33:36Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Open-Set Vein Biometric Recognition with Deep Metric Learning [0.0]
  我々は厳密なオープンセット制約の下でDeep Metric Learning(DML)の計算境界を厳格に評価する。 提案手法は,非ネイティブなL2正規化埋め込みを学習し,類似性しきい値を用いたプロトタイプベースマッチングを採用する。 大規模MMCBNU 6000ベンチマークでは、我々の最良のモデル(ResNet50-CBAM)がOSCR 0.9945、AUROC 0.9974、EER 1.57%を達成し、高い識別精度 (99.6% Rank-1) を維持しながら、未知の被験者を頑健に拒否する。
  論文  参考訳（メタデータ） (2026-04-16T11:03:11Z)
• How well are open sourced AI-generated image detection models out-of-the-box: A comprehensive benchmark study [5.740397289924559]
  普遍的な勝者は存在せず、検出器のランキングはかなり不安定である。 我々の発見は、全能検出器のパラダイムに挑戦した。
  論文  参考訳（メタデータ） (2026-02-08T04:36:13Z)
• Crucial-Diff: A Unified Diffusion Model for Crucial Image and Annotation Synthesis in Data-scarce Scenarios [65.97836905826145]
  医療、産業、自動運転といったさまざまなシナリオにおけるデータの不足は、モデルの過度な適合とデータセットの不均衡につながる。 重要なサンプルを合成するドメインに依存しないフレームワークであるCrucial-Diffを提案する。 我々のフレームワークは多様な高品質なトレーニングデータを生成し、ピクセルレベルのAPは83.63%、F1-MAXは78.12%である。
  論文  参考訳（メタデータ） (2025-07-14T04:41:38Z)
• Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
  半正直な設定で一貫したバックドア検出フレームワークを提案する。 本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。 特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-03-21T06:12:06Z)
• Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
  エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。 これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。 提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
  論文  参考訳（メタデータ） (2024-09-04T16:47:16Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。