論文の概要: Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance

• arxiv url: http://arxiv.org/abs/2606.15531v1
• Date: Sun, 14 Jun 2026 01:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.678121
• Title: Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance
• Title（参考訳）: グレディ・コーディネート・ディフュージョン : ディフュージョン・ガイダンスによる効果的なセマンティック・コヒーレント・アタック
• Abstract要約: 良質なタスクに関する微調整言語モデルは、トレーニングデータに有害なコンテンツがない場合でも、安全ガードレールを体系的に破る。 パラメータ空間軌跡の幾何学的解析を通じて局所幾何学的枠組みを構築し,微調整におけるアライメントの脆弱さを解明する。 我々は,我々のフレームワークの構成をアライメント不安定条件 (AIC) として定式化し,その3つの幾何学的性質は,現在,劣化を保証するのに十分である。
• 参考スコア（独自算出の注目度）: 48.34904668359272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning aligned language models on benign tasks (e.g. math tutoring) systematically breaks safety guardrails, even when training data contains no harmful content. While mechanistic approaches have shed light on where alignment resides in model weights, they do not by provide a general formal framework for deriving guarantees about when fine-tuning degrades it -- leaving the field without principled tools for predicting or preventing alignment collapse. We develop a local geometric framework through geometric analysis of parameter-space trajectories and apply it to understand the fragility of alignment in fine-tuning. While first-order analysis suggests orthogonal updates are safe, we prove this is illusory: the curvature of the fine-tuning loss induces second-order acceleration that can induce second-order drift into alignment-sensitive regions. We formalize a construct of our framework as the Alignment Instability Condition (AIC), three geometric properties that, when present, are sufficient to guarantee degradation. Our main result proves quartic onset of alignment degradation along gradient-flow trajectories, determined by how sharply alignment depends on specific parameters and how strongly tasks couple to these parameters. These findings yield formal sufficient conditions under which static first-order protection can fail under gradient descent. We further empirically validate the framework's foundations, showing that the Fisher Information Matrix provides a proxy for the degree of safety degradation across diverse fine-tuning.
• Abstract（参考訳）: 良質なタスク(例えば数学のチュータリング)上の微調整された言語モデルは、たとえトレーニングデータが有害なコンテンツを含んでいない場合でも、安全ガードレールを体系的に破壊する。 メカニスティックなアプローチは、アライメントがモデルウェイトにどこにあるかに光を当てている一方で、微調整がいつ低下するかという保証を導出するための一般的な公式なフレームワークを提供してはいない。 パラメータ空間軌跡の幾何学的解析を通じて局所幾何学的枠組みを開発し,それを微調整におけるアライメントの脆弱性を理解するために応用する。 微調整損失の曲率によって2階の加速度が誘導され、2階のドリフトがアライメントに敏感な領域に誘導される。 我々は,我々のフレームワークの構成をアライメント不安定条件 (AIC) として定式化し,その3つの幾何学的性質は,現在,劣化を保証するのに十分である。 本研究の主な成果は, 勾配-流れ軌道に沿ったアライメント劣化の質的オンセットが, 特定のパラメータによるアライメントの急激な依存性と, それらのパラメータとの密接な対応によって決定されることを示すものである。 これらの結果から, 勾配降下下での静的一階保護が失敗する条件が得られた。 さらに,本フレームワークの基盤を実証的に検証し,各種微調整の安全性向上のプロキシとしてFisher Information Matrixが有効であることを示す。

関連論文リスト

• BYORn: Bootstrap Your Own Responses to Defend Large Vision-Language Models Against Backdoor Attacks [0.0]
  教師付き微調整は、下流タスクに自動回帰視覚言語モデルを適用する主要なアプローチである。 近年の研究では、このパラダイムはバックドア攻撃に対して非常に脆弱であることが示されている。 本研究では, 有害な標的応答が意味論的に理解できない場合が多いという観察に動機づけられた, バックドア・ローバスト微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-01T22:58:04Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• When Safety Geometry Collapses: Fine-Tuning Vulnerabilities in Agentic Guard Models [0.9772267314090434]
  完全な良性データに微調整されたガードモデルは、すべての安全アライメントを失う可能性がある。 本研究は, 潜伏した安全形状の破壊に起因していることを示す。 漁業用安全部分空間規則化を提案する。
  論文  参考訳（メタデータ） (2026-04-08T05:27:33Z)
• The Geometry of Alignment Collapse: When Fine-Tuning Breaks Safety [40.556122962771276]
  良質なタスクに関する微調整言語モデルは、予測不能に安全ガードレールを格下げする。 我々は、アライメントがシャープな曲率を持つ低次元部分空間に集中していることを証明する。 我々はこの機構をアライメント不安定条件によって定式化する。
  論文  参考訳（メタデータ） (2026-02-17T18:39:15Z)
• Invariance on Manifolds: Understanding Robust Visual Representations for Place Recognition [19.200074425090595]
  本稿では,2次幾何統計フレームワークを提案する。 提案手法では、固定されたトレーニング済みのバックボーン上に構築されたトレーニング不要のフレームワークを導入し、パラメータ更新なしで強力なゼロショット一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-31T18:12:29Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
  推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。 その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
  論文  参考訳（メタデータ） (2026-01-04T18:04:23Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Diversifying Counterattacks: Orthogonal Exploration for Robust CLIP Inference [45.723695657400576]
  反撃の多様性とカバレッジの向上は、テスト時間防衛における敵の堅牢性向上に不可欠である。 直交直交対向攻撃(DOC)は、傾き方向と運動量に基づく更新を組み込むことで、対向最適化を強化する。 平均コサイン類似度に基づく指向性感度スコアを,サンプル識別を改善し,反撃強度を適応的に調節することによりDOCを増強する。
  論文  参考訳（メタデータ） (2025-11-12T07:40:16Z)
• Untargeted Jailbreak Attack [42.94437968995701]
  勾配に基づく大規模言語モデル(LLM)に対するジェイルブレイク攻撃 本稿では,事前定義されたパターンを強制することなく,安全でない応答を誘発することを目的とした,最初の勾配に基づく非目標ジェイルブレイク攻撃(UJA)を提案する。 広範囲な評価により、UJAは最近の安全に配慮したLLMに対して、たった100回の最適化イテレーションで80%以上の攻撃成功率を達成できることが示されている。
  論文  参考訳（メタデータ） (2025-10-03T13:38:56Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• The Resurgence of GCG Adversarial Attacks on Large Language Models [4.157278627741554]
  本稿では,GCGとその変種であるTGCGを,オープンソースランドスケープ全体にわたって体系的に評価する。 攻撃の成功率はモデルのサイズによって減少し、複雑さが増すのを反映している。 コーディングプロンプトは 敵の安全プロンプトよりも 脆弱で 推論自体を 攻撃ベクトルとして利用できる
  論文  参考訳（メタデータ） (2025-08-30T07:04:29Z)
• Explainer-guided Targeted Adversarial Attacks against Binary Code Similarity Detection Models [12.524811181751577]
  我々は,BCSDモデルに対する敵攻撃に対する新たな最適化を提案する。 特に,攻撃目標は,モデル予測を特定の範囲に制限することである。 我々の攻撃は、モデル決定境界の解釈において、ブラックボックス、モデルに依存しない説明器の優れた能力を活用する。
  論文  参考訳（メタデータ） (2025-06-05T08:29:19Z)
• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
  応答の個体群に対する適応的・意味的最適化問題を提案する。 我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
  論文  参考訳（メタデータ） (2025-02-24T15:34:48Z)
• Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
  転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。 既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。 本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:45:27Z)
• Guidance Through Surrogate: Towards a Generic Diagnostic Attack [101.36906370355435]
  我々は、攻撃最適化中に局所最小限を避けるための誘導機構を開発し、G-PGAと呼ばれる新たな攻撃に繋がる。 修正された攻撃では、ランダムに再起動したり、多数の攻撃を繰り返したり、最適なステップサイズを検索したりする必要がありません。 効果的な攻撃以上に、G-PGAは敵防御における勾配マスキングによる解離性堅牢性を明らかにするための診断ツールとして用いられる。
  論文  参考訳（メタデータ） (2022-12-30T18:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。