論文の概要: Verbalizing Subliminal Learning Effects Using Text Optimization

• arxiv url: http://arxiv.org/abs/2609.16927v1
• Date: Tue, 15 Sep 2026 10:03:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.439921
• Title: Verbalizing Subliminal Learning Effects Using Text Optimization
• Title（参考訳）: テキスト最適化を用いた言語化サブリミナル学習効果
• Abstract要約: サブリミナルラーニング(サブリミナルラーニング)とは、蒸留データセットがデータセット自体に正しくエンコードされていない教師モデルから特性を伝達する現象である。 本研究では、テキスト最適化を用いて、サブリミナル学習効果を検出し、それらを妥当なプロンプトとして記述する。
• 参考スコア（独自算出の注目度）: 48.21170843630861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subliminal learning is a phenomenon in which a distillation dataset transmits traits from the teacher model that are not legibly encoded in the dataset itself. This introduces a new challenge for model development and creates new risks from data poisoning. In this work, we use text optimization to detect subliminal learning effects and describe them as legible prompts. Subliminal learning from a prompted teacher motivates our approach. We observe that this is a special case of context distillation and leverage this observation to show that, in theory, the prompted subliminal learning dataset identifies the teacher's prompt. We reduce recovering this prompt to a text optimization problem and present a method to approximately solve it. Our method, SALVE (Search-Aided Latent Verbalization), optimizes a soft prompt, queries the same model to verbalize it as text, and uses beam search to make the verbalization reliable. In the standard subliminal learning setting, SALVE reliably recovers legible prompts that name the teacher's trait, while common text optimization methods fail to do so. In addition, we find that there are settings in which SALVE recovers the teacher's trait from a dataset even when subliminal learning fails, but that modifying student training to improve context distillation can create subliminal learning effects. We lastly show that SALVE detects subliminal learning effects in three additional settings: (1) mixtures of subliminal learning data and unrelated data, (2) data generated when the teacher is biased via activation steering, and (3) subsets of real preference data selected via Logit-Linear Selection. Overall, our results deepen our understanding of subliminal learning and present SALVE as a method to proactively detect subliminal learning effects.
• Abstract（参考訳）: サブリミナルラーニング(サブリミナルラーニング)とは、蒸留データセットがデータセット自体に正しくエンコードされていない教師モデルから特性を伝達する現象である。 これは、モデル開発の新たな課題を導入し、データ中毒から新たなリスクを生み出します。 本研究では、テキスト最適化を用いて、サブリミナル学習効果を検出し、それらを妥当なプロンプトとして記述する。 指導を受けた教師からのサブリミナル学習は我々のアプローチを動機づける。 これは文脈蒸留の特別な場合であり、この観察を利用して、理論上は、サブリミナル学習データセットが教師のプロンプトを特定することを示す。 我々は、このプロンプトをテキスト最適化問題に還元し、これを概ね解く方法を提案する。 提案手法であるSALVE(Search-Aided Latent Verbalization)は,ソフトプロンプトを最適化し,同じモデルを問合せ,テキストとして言語化する。 標準的なサブリミナル・ラーニング・セッティングでは、SALVEは教師の属性を名付ける正当性のあるプロンプトを確実に復元するが、一般的なテキスト最適化手法ではそうはならない。 さらに,サブリミナル学習が失敗しても,SALVEが教師の属性をデータセットから復元する設定があることが判明した。 最後に,SALVEは,(1)サブリミナル学習データと無関係データの混合,(2)教師がアクティベーション・ステアリングによってバイアスを受けたときに発生するデータ,(3)ロジット・リニア・セレクションによって選択された実選好データのサブセットの3つの追加設定で,サブリミナル学習効果を検出することを示す。 その結果,サブリミナル学習の理解を深め,サブリミナル学習効果を積極的に検出する方法としてSALVEを提示した。

関連論文リスト

• Subliminal Learning is Non-Semantic Distillation [1.2891210250935148]
  サブリミナルラーニング(サブリミナルラーニング、Subliminal Learning、SL)は、現代の言語モデルで表される驚くべき一般化である。 一見無関係またはランダムな合成データから蒸留することで、教師モデルから生徒へのバイアスや行動の伝達を可能にする。 これにより、AIシステムが予測可能であり、安全にトレーニングされていることを保証する上での課題が提示される。
  論文  参考訳（メタデータ） (2026-08-06T08:18:13Z)
• Bridging Visual Affective Gap: Borrowing Textual Knowledge by Learning from Noisy Image-Text Pairs [16.56946059161466]
  本稿では、事前学習された視覚モデルの感情知覚を高めるために、事前学習されたテキストモデルから知識を借りることを提案する。 ノイズの多いソーシャルメディアデータにおいて、画像とテキスト間の事実的および感情的なつながりに焦点を当てる。 負対と正対を動的に構成することにより、ノイズサンプルの可能性を完全に活用する。
  論文  参考訳（メタデータ） (2025-11-21T10:06:32Z)
• LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
  大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。 この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。 コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
  論文  参考訳（メタデータ） (2025-10-10T05:10:49Z)
• Subliminal Learning: Language models transmit behavioral traits via hidden signals in data [7.092398764321311]
  サブリミナル学習(subliminal learning)は,言語モデルが意味的に無関係なデータを通じて行動特性を伝達する現象である。 特定の条件下で全てのニューラルネットワークでサブリミナル学習が発生することを示す理論的結果を示す。 サブリミナル学習は、AI開発に予期せぬ落とし穴を生じさせる一般的な現象である、と結論付けている。
  論文  参考訳（メタデータ） (2025-07-20T03:51:13Z)
• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• The First to Know: How Token Distributions Reveal Hidden Knowledge in Large Vision-Language Models? [34.27319941609499]
  本研究では線形プローブを用いてLVLMの出力層における隠れた知識を隠蔽する。 本報告では,最初のトークンのロジット分布は命令に応答するかどうかを決定するのに十分な情報を含んでいることを示す。
  論文  参考訳（メタデータ） (2024-03-14T02:25:35Z)
• Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
  Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。 制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
  知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。 本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。 具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-11T06:22:14Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。