論文の概要: Consistency Training while Mitigating Obfuscation via Rate Matching

• arxiv url: http://arxiv.org/abs/2606.02211v1
• Date: Mon, 01 Jun 2026 13:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.085785
• Title: Consistency Training while Mitigating Obfuscation via Rate Matching
• Title（参考訳）: レートマッチングによる難読化の緩和における一貫性トレーニング
• Authors: Sohaib Imran, Prakhar Gupta, Jannes Elstner, David Demitri Africa,
• Abstract要約: 大規模な言語モデルはしばしば、ユーザの好みの回答を明らかにするなど、外部の入力機能の影響を受けます。 既存のメソッドは、応答全体や内部のアクティベーションに対する一貫性をトレーニングします。 このことが難読化につながることを示しているが、そこではモデルがキューに言及しないように学習し、その影響で監視性が損なわれる可能性がある。 本稿では,この動作の表現方法に制約を加えることなく,選択した動作特性に対する一貫性をトレーニングするRMCT(Rate Matching Consistency Training)を紹介する。
• 参考スコア（独自算出の注目度）: 6.354949885860511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are often influenced by extraneous input features, such as cues revealing a user's preferred answer. Consistency training reduces this influence by training models to behave similarly across inputs with and without the extraneous feature. However, existing methods train for consistency over entire responses or internal activations, which also constrains whether the model verbalises said extraneous features. We show this leads to obfuscation, where the model learns not to mention a cue while remaining influenced by it, which may undermine monitorability. To address this, we introduce Rate Matching Consistency Training (RMCT), which trains for consistency over selected behavioural properties without constraining how this behaviour is expressed. RMCT matches the rate at which the model exhibits a target behaviour (e.g., following a bias cue) across input perturbations, rather than requiring paired inputs with and without the extraneous feature, extending consistency training to settings where the extraneous features cannot be removed. We evaluate RMCT on sycophancy reduction in two open-weight language models, achieving reductions in bias-following comparable to a standard consistency-training baseline on held-out bias types, while largely preserving the model's tendency to verbalise the bias cue. Further, we find that RMCT is more data-efficient at the expense of being less compute-efficient in our experiments. Overall, RMCT shows that consistency training can improve behavioural robustness without directly trading off against monitorability.
• Abstract（参考訳）: 大規模な言語モデルはしばしば、ユーザの好みの回答を明らかにするなど、外部の入力機能の影響を受けます。 一貫性トレーニングは、トレーニングモデルによるこの影響を減らし、外的特徴のない入力に対して同じように振る舞う。 しかし、既存のメソッドは、応答全体や内部のアクティベーションに対する一貫性をトレーニングしており、モデルが外的特徴を宣言するかどうかも制約している。 このことが難読化につながることを示しているが、そこではモデルがキューに言及しないように学習し、その影響で監視性が損なわれる可能性がある。 そこで我々は,この動作の表現方法に制約を加えることなく,選択した動作特性に対する一貫性をトレーニングするRMCT(Rate Matching Consistency Training)を導入する。 RMCTは、入力の摂動によって対象の振る舞い(例えばバイアスキューに従う)を示す速度と一致し、対の入力と外在的な特徴を必要とせず、外在的な特徴を除去できない設定まで一貫性のトレーニングを延ばす。 我々は,2つのオープンウェイト言語モデルにおいて,RMCT によるサイコフィナンシ低減の評価を行い,バイアスキューの動詞化傾向を保ちながら,標準整合訓練ベースラインに匹敵するバイアス追従率の低減を実現した。 さらに,実験では,RMCTの方が計算効率が悪く,データ効率がよいことがわかった。 全体として、RMCTは、一貫性のトレーニングは、監視可能性と直接的にトレードオフすることなく、行動の堅牢性を改善することができることを示している。

関連論文リスト

• Ascent Fails to Forget [45.75497227694833]
  勾配上昇に基づく非制約最適化手法は、しばしば機械のアンラーニングに失敗することを示した。 我々は、この現象を、データセットを忘れ、保持する際、本質的に統計的に依存しているとみなす。 これらの統計的依存関係の存在は,相関としてのみ現れても,上昇に基づく未学習が失敗するのに十分であることがわかった。
  論文  参考訳（メタデータ） (2025-09-30T15:48:49Z)
• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Understanding the Logit Distributions of Adversarially-Trained Deep Neural Networks [6.439477789066243]
  敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。 敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。 対向性学習に不可欠な3つのロジット特性を同定する。
  論文  参考訳（メタデータ） (2021-08-26T19:09:15Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。