論文の概要: Slow Decay and Silenced Expression: Iterated Subliminal Trait Transfer in Language-Model Lineages

• arxiv url: http://arxiv.org/abs/2609.25721v1
• Date: Tue, 22 Sep 2026 05:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.234797
• Title: Slow Decay and Silenced Expression: Iterated Subliminal Trait Transfer in Language-Model Lineages
• Title（参考訳）: Slow Decay and Silenced Expression: Iterated Subliminal Trait Transfer in Language-Model Lineages
• Abstract要約: 教師の性格が系統をまたぐものかどうかを調査する。 海峡は3つの系統にまたがって10世代にわたって続いている。 取引は、行動に欠席しながら内部で行うことができる。
• 参考スコア（独自算出の注目度）: 3.445039090612657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are increasingly trained on the outputs of other models, forming chains that we call lineages, in which a trait present in one generation can pass to the next. Prior work on subliminal learning has shown that a teacher's trait can transmit to a student through filtered data carrying none of the trait's content. However, the evidence covers only a single training step. We study whether such a trait holds or fades across lineages. We instill the trait into three copies of Qwen2.5-7B-Instruct and iterate the training step to depth ten from each, reading every generation two ways on the same held-out prompts: a keyword screen that looks for expressions of the trait in the model's output, and an activation probe that projects each model's displacement from the base onto a direction built from the other lineages' teachers. We report two findings. First, the trait persists through ten generations across three lineages. The instilled models express it on every completion; the keyword-screen rate falls to 55.6% after the first step and to 21.1% by generation ten. The base itself matches the screen on none of its 300 completions. Second, the trait can be present internally while absent behaviorally. When the model's default system prompt is removed at evaluation, the generation-ten students' keyword-screen rate is zero on every prompt while the probe score stays positive on every prompt. Steering the untreated base with the displacement of a generation-ten student, which is trained and measured under the default system prompt, induces screened expression of the trait even with the system prompt removed, while that same student shows no expression of the trait with the system prompt removed.
• Abstract（参考訳）: 言語モデルは、他のモデルの出力に基づいてますます訓練され、私たちが系統と呼ぶ連鎖を形成します。 サブリミナル・ラーニングの以前の研究は、教師の性格は、特徴の内容を一切持たないフィルタリングデータを通して生徒に伝達できることを示した。 しかし、この証拠は1つの訓練段階のみをカバーしている。 このような特徴が系譜をまたいで保持されるか、消滅するかを研究する。 Qwen2.5-7B-インストラクションの3つのコピーに特徴を注入し、トレーニングステップをそれぞれから深み10まで繰り返し、各世代が同じ保持されたプロンプトで2つの方法を読む:モデルの出力のトレーサの表現を検索するキーワードスクリーンと、各モデルがベースから他の系統の教師が構築した方向へずれを投影するアクティベーションプローブである。 我々は2つの発見を報告した。 第一に、三つの系統にまたがって十代にわたって受け継がれる。 入力されたモデルは完成度ごとに表現され、キーワード・スクリーン・レートは第1ステップの後に55.6%、第10世代では21.1%に低下する。 ベース自体が300の完成品の画面と一致しない。 第二に、その特性は行動的に欠如しながら内部に存在することができる。 評価時にモデルのデフォルトシステムプロンプトが削除されると、各プロンプトで10代の生徒のキーワードスクリーンレートはゼロとなり、プローブスコアは各プロンプトで正となる。 既定のシステムプロンプトでトレーニングされ測定される世代10人の学生の変位で未処理のベースをステアリングすると、システムプロンプトが取り除かれても特性のスクリーニングされた表現が誘導され、システムプロンプトが取り除かれたときの特性の表現は表示されない。

関連論文リスト

• Subliminal Learning is Non-Semantic Distillation [1.2891210250935148]
  サブリミナルラーニング(サブリミナルラーニング、Subliminal Learning、SL)は、現代の言語モデルで表される驚くべき一般化である。 一見無関係またはランダムな合成データから蒸留することで、教師モデルから生徒へのバイアスや行動の伝達を可能にする。 これにより、AIシステムが予測可能であり、安全にトレーニングされていることを保証する上での課題が提示される。
  論文  参考訳（メタデータ） (2026-08-06T08:18:13Z)
• The Information Shadow: Measuring Structural Limits on What Language Models Can Learn [0.0]
  情報シャドー: テキスト学習者がスケールに関係なく取得できない現象。 Type Iでは、Language Compression Residualsは、信号が失われるテキストライクなエンコーディングしか見ないテキスト学習者と、信号を直接見るフルシグナル学習者を比較する。 II型では、非現実的識別テストは2つの非互換なルールと完全に一致したデータでモデルを訓練する。
  論文  参考訳（メタデータ） (2026-07-17T06:04:07Z)
• Self-Study Reconsidered: The Hidden Fragility of Learning from Self-Generated QA [40.94400211806987]
  言語モデルは、QA(Synthetic Question Aswer)の監督によって、ますます教えられている。 この生成ステップが中立的な前処理ではないことを示す。 このような障害モードは,QA生成時の選択から発生し,トレーニングループを変更することなく低減できることを示す。
  論文  参考訳（メタデータ） (2026-06-30T17:35:14Z)
• Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
  弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。 我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
  論文  参考訳（メタデータ） (2026-05-29T10:34:11Z)
• DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
  蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。 標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。 既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-15T02:04:12Z)
• Exemplar Retrieval Without Overhypothesis Induction: Limits of Distributional Sequence Learning in Early Word Learning [0.0]
  子どもたちは、形状がオブジェクトのカテゴリを定義する傾向がある機能であることを学びます。 合成コーパスを用いた自己回帰変換言語モデルの訓練を行った。 モデルは、構造化された名詞からドメインへの抽象化ではなく、フレームからフィーチャーまでのテンプレートマッチングに依存している。
  論文  参考訳（メタデータ） (2026-04-06T23:11:25Z)
• SeedPrints: Fingerprints Can Even Tell Which Seed Your Large Language Model Was Trained From [65.75182441010327]
  我々は,LDMフィンガープリントのより強く,より本質的な概念であるSeedPrintsを提案する。 トレーニングされていないモデルでは,パラメータのみに依存した再現可能なトークン選択バイアスが示される。 LLaMAスタイルとQwenスタイルのモデルの実験では、SeedPrintsはシードレベルの識別性を実現し、バイオメトリック指紋に似た生来からライフサイクルの識別認証を提供する。
  論文  参考訳（メタデータ） (2025-09-30T15:34:08Z)
• Subliminal Learning: Language models transmit behavioral traits via hidden signals in data [7.092398764321311]
  サブリミナル学習(subliminal learning)は,言語モデルが意味的に無関係なデータを通じて行動特性を伝達する現象である。 特定の条件下で全てのニューラルネットワークでサブリミナル学習が発生することを示す理論的結果を示す。 サブリミナル学習は、AI開発に予期せぬ落とし穴を生じさせる一般的な現象である、と結論付けている。
  論文  参考訳（メタデータ） (2025-07-20T03:51:13Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Modular Prompt Learning Improves Vision-Language Models [49.132774679968456]
  挿入されたプロンプトに含まれる情報の保存を促進するために,モジュール型プロンプト学習(MPL)を提案する。 提案手法は,ベース・ツー・ニューな一般化タスクにおいて平均0.7%の性能向上を実現している。 個々のデータセットにおける最大の改善は10.7%である。
  論文  参考訳（メタデータ） (2025-02-19T22:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。