Fugu-MT 論文翻訳(概要): Subversion via Focal Points: Investigating Collusion in LLM Monitoring

論文の概要: Subversion via Focal Points: Investigating Collusion in LLM Monitoring

arxiv url: http://arxiv.org/abs/2507.03010v1
Date: Wed, 02 Jul 2025 10:48:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-08 15:46:34.526301
Title: Subversion via Focal Points: Investigating Collusion in LLM Monitoring
Title（参考訳）: フーカルポイントによるサブバージョン:LLMモニタリングにおける衝突の調査
Authors: Olli Järviniemi,
Abstract要約: 照合による監視プロトコルを変換する言語モデルの能力を評価する。プログラミングタスク設定において、モデル設計プロンプト(P)とモニタ(M)の2つのインスタンスがある。これらのモデルは、M が監査データセット内のすべてのバックドアプログラムを有害と分類することを目的としているが、それでも P が生成したバックドアプログラムを無害と分類している。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We evaluate language models' ability to subvert monitoring protocols via collusion. More specifically, we have two instances of a model design prompts for a policy (P) and a monitor (M) in a programming task setting. The models collaboratively aim for M to classify all backdoored programs in an auditing dataset as harmful, but nevertheless classify a backdoored program produced by P as harmless. The models are isolated from each other, requiring them to independently arrive at compatible subversion strategies. We find that while Claude 3.7 Sonnet has low success rate due to poor convergence, it sometimes successfully colludes on non-obvious signals.
Abstract（参考訳）: 照合による監視プロトコルを変換する言語モデルの能力を評価する。具体的には、プログラミングタスク設定において、モデル設計プロンプト(P)とモニタ(M)の2つのインスタンスがある。これらのモデルは、M が監査データセット内のすべてのバックドアプログラムを有害と分類することを目的としているが、それでも P が生成したバックドアプログラムを無害と分類している。モデルは互いに分離されており、互換性のあるサブバージョン戦略に独立して到達する必要がある。クロード3.7ソンネットは収束不良のため成功率が低いが、観測不能な信号に衝突することがある。

関連論文リスト

Understanding Refusal in Language Models with Sparse Autoencoders [27.212781538459588]
我々はスパースオートエンコーダを用いて、拒絶動作を因果的に仲介する潜伏特徴を特定する。我々は、世代への影響を評価するために、拒絶に関連する特徴に介入する。これにより、アクティベーションレベルでのリファインダーの表示方法のきめ細かい検査が可能になる。
論文参考訳（メタデータ） (2025-05-29T15:33:39Z)
Mitigating Deceptive Alignment via Self-Monitoring [15.365589693661823]
我々は,CoT Monitor+という,自己監視をチェーン・オブ・シントプロセス自体に組み込むフレームワークを開発した。生成中、モデルは(i)通常の推論ステップを生成し、(ii)不整合戦略のフラグと抑制のために訓練された内部自己評価信号を生成する。この信号は強化学習の補助的な報酬として使われ、正直な推論に報いるフィードバックループを作成し、隠れた目標を阻止する。
論文参考訳（メタデータ） (2025-05-24T17:41:47Z)
Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文参考訳（メタデータ） (2025-05-22T17:11:58Z)
Large Language Models Can Verbatim Reproduce Long Malicious Sequences [23.0516001201445]
機械学習モデルに対するバックドア攻撃は、広く研究されている。本稿では,大規模言語モデルにおけるバックドア攻撃の概念を再検討する。ターゲット入力のトリガによって、$leq100$のハードコードキーを含む任意の応答を再生できることが判明した。
論文参考訳（メタデータ） (2025-03-21T23:24:49Z)
Adaptive Deployment of Untrusted LLMs Reduces Distributed Threats [22.843390303635655]
大規模言語モデルが意図的に回避しようとする場合でも,安全対策が有効かどうかを検討する。マイクロプロトコールの選択には、適応マクロプロトコールを使用する2段階のデプロイメントフレームワークを使用する。有効なレベルでは、適応的デプロイメント戦略は、非適応的ベースラインに比べて、バックドアの数を80%削減します。
論文参考訳（メタデータ） (2024-11-26T18:58:20Z)
Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文参考訳（メタデータ） (2024-02-28T21:29:16Z)
Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
論文参考訳（メタデータ） (2023-10-28T08:21:16Z)
Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文参考訳（メタデータ） (2023-05-03T20:31:13Z)
CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive Learning [63.72975421109622]
CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。 CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
論文参考訳（メタデータ） (2023-03-06T17:48:32Z)
Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。