論文の概要: Inference-Time Consensus for Mitigating Hidden Behaviors from LLM Fine-Tuning
- arxiv url: http://arxiv.org/abs/2607.23394v1
- Date: Sat, 25 Jul 2026 23:41:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.090746
- Title: Inference-Time Consensus for Mitigating Hidden Behaviors from LLM Fine-Tuning
- Title（参考訳）: LLMファインチューニングによる隠れ挙動の予測時間合意
- Abstract要約: 本稿では,各トークンを任意のソースが割り当てる最も低い確率で格納するトークンワイド最小値と,ソースが反対方向に移動する任意のトークンのベース確率に逆戻りするベース相対変量という2つのコンセンサスデコーダを紹介する。
制御された中毒タスク、サブリミナルラーニング、創発的なミスアライメント、コンセンサス復号は、共通の望ましい行動を保ちながら、ソース固有の誤った行動を抑制する。
- 参考スコア（独自算出の注目度）: 6.382763634670965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work shows that fine-tuning language models on even a small amount of poisoned data can install targeted misbehavior, and ostensibly benign data can transmit hidden preferences that generalize broadly. Standard defenses, such as data filtering, mixing in harmless data, and regularization, attenuate these effects but do not eliminate them. We instead pursue robustness through redundancy: collecting multiple datasets from different sources and only learning what is common between them. Thus, if only a subset of sources are malicious, the misbehavior will be blocked. In order to implement this defense strategy, we fine-tune a separate reference model on each source's dataset and aggregate their next-token distributions at decoding time. We introduce two consensus decoders: a token-wise minimum, which caps each token at the lowest probability any source assigns, and a base-relative variant, which reverts to the base probability on any token the sources move in opposing directions. We further relax exact agreement to tolerate partial support across sources and different surface expressions of the same intention. Across controlled poisoning tasks, subliminal learning, and emergent misalignment, consensus decoding suppresses source-specific misbehavior while preserving shared desirable behavior, including cases where union training and weight averaging retain the unwanted behavior.
- Abstract（参考訳）: 近年の研究では、少量の有毒データでも微調整された言語モデルが対象の誤動作をインストールでき、視覚的に良性のあるデータが広範に一般化された隠された嗜好を伝達できることが示されている。
データフィルタリング、無害なデータの混合、正規化といった標準的な防御は、これらの効果を弱めるが、それらを排除しない。
異なるソースから複数のデータセットを収集し、それらの間の共通点のみを学習するのです。
したがって、ソースのサブセットが悪意のある場合、誤った振る舞いはブロックされる。
この防衛戦略を実装するために、各ソースのデータセット上に個別の参照モデルを微調整し、復号時に次点分布を集約する。
本稿では,各トークンを任意のソースが割り当てる最も低い確率で格納するトークンワイド最小値と,ソースが反対方向に移動する任意のトークンのベース確率に逆戻りするベース相対変量という2つのコンセンサスデコーダを紹介する。
さらに、ソース間の部分的なサポートと、同じ意図の異なる表面表現を許容する正確な合意を緩和する。
制御された中毒のタスク、サブリミナル学習、創発的な不適応、コンセンサス復号はソース固有の不作法を抑えつつ、共通の望ましい行動を保っている。
関連論文リスト
- Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading [0.6916773850242582]
順序に依存しない言語モデル(OALM)は任意の条件セットの下でマスク付きトークンを予測するために訓練される。
学習条件はコヒーレントな関節分布の正確な分解ではないことを示す。
信頼性トレースの形状に基づく相補的診断を提案する。
論文 参考訳（メタデータ） (2026-05-31T04:25:36Z) - A Sentence Relation-Based Approach to Sanitizing Malicious Instructions [15.879266080043076]
現在の防衛措置は、しばしばLLMベースの検出器を使用して、そのようなコンテンツをフィルタリングする。
SONARは,自然言語推論のメトリクスを用いて注入されたコンテンツを識別・除去する,迅速な衛生化フレームワークである。
SONARは攻撃成功率をほぼゼロに減らし、確立された9つのベースライン防御を著しく上回った。
論文 参考訳（メタデータ） (2026-05-01T20:22:40Z) - BlackCATT: Black-box Collusion Aware Traitor Tracing in Federated Learning [51.251962154210474]
フェデレートラーニング: BlackCATT におけるブラックボックストレーサトレースのための一般的なコラシオン耐性埋め込み法を提案する。
実験により,異なるアーキテクチャやデータセットにまたがる提案手法の有効性が確認された。
メインタスクの更新不整合に苦しむモデルに対して,提案したBlackCATT+FRには機能正規化が組み込まれている。
論文 参考訳（メタデータ） (2026-02-12T16:26:57Z) - The 'Sure' Trap: Multi-Scale Poisoning Analysis of Stealthy Compliance-Only Backdoors in Fine-Tuned Large Language Models [10.377264470934843]
大きな言語モデルに対するバックドア攻撃は、通常、暗黙の悪意のある出力に秘密のトリガーを伴います。
我々はコンプライアンスのみのバックドアを導入し、ほぼ良質なデータセットで教師付き微調整を行い、プロンプトの小さなサブセットを任意の単一ワードトリガでサフィックスする。
本研究は, 毒性予算, 総微調整データセットサイズ, モデルサイズにまたがる, この良性ラベル中毒行動のマルチスケール解析を行った。
論文 参考訳（メタデータ） (2025-11-16T02:01:58Z) - Crafting Imperceptible On-Manifold Adversarial Attacks for Tabular Data [38.89245780759371]
本稿では,混合入力変分オートエンコーダ(VAE)を用いた遅延空間摂動フレームワークを提案し,統計的に一貫した逆の例を生成する。
提案手法は,従来の入力空間攻撃と比較して,アウトレーラ率と一貫した性能を著しく低下させることを示す。
論文 参考訳（メタデータ） (2025-07-15T05:34:44Z) - Hey, That's My Data! Label-Only Dataset Inference in Large Language Models [63.35066172530291]
CatShiftはラベルのみのデータセット推論フレームワークである。
LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
論文 参考訳（メタデータ） (2025-06-06T13:02:59Z) - Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。
混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。
UE識別のための反復フィルタリング手法を提案する。
論文 参考訳（メタデータ） (2024-08-15T13:26:13Z) - Federated Causal Discovery from Heterogeneous Data [70.31070224690399]
任意の因果モデルと異種データに対応する新しいFCD法を提案する。
これらのアプローチには、データのプライバシを保護するために、生データのプロキシとして要約統計を構築することが含まれる。
提案手法の有効性を示すために, 合成および実データを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-02-20T18:53:53Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine
Learning [0.0]
我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。
グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。
異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。
また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
論文 参考訳（メタデータ） (2022-02-06T17:11:14Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z) - On Provable Backdoor Defense in Collaborative Learning [35.22450536986004]
悪意のあるユーザは、モデルの収束を防ぐためにデータをアップロードしたり、隠れたバックドアを注入したりできる。
標準的なテストデータではモデルが正常に動作するため、バックドア攻撃は特に検出が難しいが、特定のバックドアキーによってトリガーされた場合、間違ったアウトプットが与えられる。
既存のサブセット集約メソッドを一般化する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-19T14:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。