論文の概要: Reward Stealing Attack on Large Language Models
- arxiv url: http://arxiv.org/abs/2610.06670v1
- Date: Mon, 05 Oct 2026 16:44:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 23:48:54.995881
- Title: Reward Stealing Attack on Large Language Models
- Title（参考訳）: 大規模言語モデルに対するReward Stealing攻撃
- Abstract要約: LLM(Large Language Models)に対する敵対的攻撃は有害なコンテンツを誘導することを目的としている。
本稿では,LSMアライメントの根底にある潜伏安全報酬を狙う敵攻撃フレームワークであるReward Stealing Attack (ReSA)を提案する。
- 参考スコア（独自算出の注目度）: 11.885987814946276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial attacks on Large Language Models (LLMs) aim to induce harmful content. However, existing methods suffer from high computational costs or strict model-pairing dependencies, limiting their scalability and transferability. We propose Reward Stealing Attack (ReSA), an adversarial attack framework that targets the latent safety reward underlying LLM alignment. ReSA employs maximum entropy inverse reinforcement learning to recover a proxy reward model solely from the aligned model's behavior. The extracted reward is then reversed at inference time to derive an adversarial policy, efficiently implemented via a reward-guided decoding mechanism. Experiments demonstrate that a single recovered reward generalizes across prompts and diverse models to reveal a fundamental alignment vulnerability, enabling ReSA to significantly outperform existing attacks in effectiveness and transferability. The code is available at https://github.com/GarminQ/ReSA.
- Abstract（参考訳）: LLM(Large Language Models)に対する敵対的攻撃は有害なコンテンツを誘導することを目的としている。
しかし、既存の手法は高い計算コストや厳密なモデルペア依存に悩まされ、スケーラビリティと転送性は制限される。
本稿では,LSMアライメントの根底にある潜伏安全報酬を狙う敵攻撃フレームワークであるReward Stealing Attack (ReSA)を提案する。
ReSAは最大エントロピー逆強化学習を用いて、整列モデルの振る舞いからのみプロキシ報酬モデルを復元する。
そして、抽出された報酬を推論時に逆転して敵ポリシーを導出し、報酬誘導復号機構を介して効率的に実装する。
実験では、単一のリカバリされた報酬がプロンプトと多様なモデルにまたがって一般化され、基本的なアライメントの脆弱性が明らかになり、ReSAが既存の攻撃を有効性と転送可能性で著しく上回ることが示されている。
コードはhttps://github.com/GarminQ/ReSAで公開されている。
関連論文リスト
- Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds [35.93731890532654]
リワードハッキング(Reward Hacking)は、AIシステムが意図した目標を満たさずに高い報酬を達成するために、不特定目的を悪用している。
我々は、AI Safety Gridworldsフレームワークをテキストベースの評価スイートに適合させ、言語ベースのエージェントのための古典的な強化学習安全タスクを再構築する。
論文 参考訳（メタデータ） (2026-06-13T16:29:34Z) - Real-Time Aligned Reward Model beyond Semantics [49.717236911878224]
本稿では,R2M(Real-Time Aligned Reward Model)という軽量なRLHFフレームワークを紹介する。
R2Mは、事前訓練されたLLMの意味表現のみに依存するバニラ報酬モデルを越えている。
この研究は、ポリシーモデルからのフィードバックをリアルタイムで活用することで、報酬モデルの性能を向上させるための有望な新しい方向性を示している。
論文 参考訳（メタデータ） (2026-01-30T07:32:35Z) - Inference-Time Reward Hacking in Large Language Models [29.829648695171425]
リワードモデルは、正確性、有用性、安全性などの複雑なデシダータのプロキシとして機能する。
不正な報酬を過度に最適化することで、意図したアライメントの目標を覆し、全体的なパフォーマンスを低下させることができる。
ヘッジは報酬のハッキングを軽減し、数学、推論、人為的な設定において優れた報酬のゆがみのトレードオフを実現することを示す。
論文 参考訳（メタデータ） (2025-06-24T02:05:25Z) - CTRAP: Embedding Collapse Trap to Safeguard Large Language Models from Harmful Fine-Tuning [12.293101110323722]
ファインチューニング・アズ・ア・サービス(英語版)は、有害なファインチューニング攻撃に対してモデルを公開する。
我々は、選択的な除去ではなく、モデル崩壊を誘発するパラダイムシフトを提案する。
この崩壊は、攻撃者が悪用する非常に一般的な機能を直接中和する。
論文 参考訳（メタデータ） (2025-05-22T11:47:08Z) - REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
応答の個体群に対する適応的・意味的最適化問題を提案する。
我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
論文 参考訳（メタデータ） (2025-02-24T15:34:48Z) - Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。
本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。
ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
論文 参考訳（メタデータ） (2024-06-20T15:12:27Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳（メタデータ） (2022-07-12T19:34:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。