論文の概要: A balloon effect: ban one channel and a hidden trait finds another

• arxiv url: http://arxiv.org/abs/2611.02509v1
• Date: Mon, 02 Nov 2026 04:30:35 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:34:02.695094
• Title: A balloon effect: ban one channel and a hidden trait finds another
• Title（参考訳）: バルーン効果:1つのチャンネルを禁止し、隠れた特徴が別のチャンネルを見つける
• Abstract要約: 言語モデルは、それらの出力が決して言及しない特性を取得することができる。 このようなサブリミナルな学習は、望ましくない特性に受け継がれる。 特性を出力に書き込む回路でカットできることが示されます。
• 参考スコア（独自算出の注目度）: 2.7716102039510564
• License:
• Abstract: Language models trained on the outputs of other models can acquire traits that those outputs never mention, such as a preference for an animal carried by lists of numbers. Such subliminal learning can pass on unwanted traits. The intuitive defence is to find and forbid the tokens through which a trait shows, but how a trait's trace behaves under such bans, and what of it a student learns, has not been resolved. We closed a trait's outlets one by one in two stress tests, a preference chain and a name chain, across two models, six output formats and 16 traits. Bans did not remove the trait. Much as squeezing a balloon in one place makes it bulge in another, the trait moved to wherever the format still allowed, an effect we call the balloon effect. Decomposing this transfer, which bans on surface features cannot stop, down to single heads and neurons, we show that it can be cut at the circuit that writes the trait into the output. Patching that circuit while the teacher writes numbers stopped the chains, sharply reduced the overt name leak and halved the trait passed to a student, whereas the same number of random heads produced no detectable reduction. These results give a mechanistic account of how unwanted hidden traits are transferred and a route to preventing it.
• Abstract（参考訳）: 他のモデルのアウトプットに基づいて訓練された言語モデルは、それらのアウトプットが決して言及しない特性を取得することができる。 このようなサブリミナルな学習は、望ましくない特性に受け継がれる。 直感的な防御は、ある形質が示すトークンを発見・禁止することであるが、そのような禁止の下で形質の痕跡がどのように振る舞うか、学生が何を学ぶかは未解決である。 我々は,2つのモデル,6つの出力フォーマット,16つの特性に対して,2つのストレステスト,選好チェーンと名チェーンに1つずつ特徴のアウトレットをクローズした。 バンは、その特徴を排除しなかった。 風船を1か所にくっつけると、もう1か所に膨らみます。 表面の特徴を禁止しているこの変換を1つの頭とニューロンに分解すると、特性を出力に書き込む回路で切断できることが示される。 教師が数字を書いている間に回路をパッチすると、チェーンが停止し、オーバート名のリークが激減し、生徒に渡された特性が半減した。 これらの結果から、不必要な隠された特性がどのように移動されたか、それを防ぐための経路が説明できる。

関連論文リスト

• Subliminal Reinforcement Learning: traits travel through a judge's scores [2.7716102039510564]
  ポストトレーニングは、言語モデル判断器によるグループ相対的なポリシー最適化に依存している。 学生が発明した音節や数字を書き、審査員が1匹の動物にスコアを付けるようにし、審査員が他の動物を選好するランに対して、生徒の選好がその動物に向かって動く。 我々は、原則を4つの段階の連鎖として確立する: 特性は裁判官のスコアに示さなければならない、学生を移動させ、答えを蓄積し、到達させる弦を好む。
  論文  参考訳（メタデータ） (2026-10-30T06:02:21Z)
• Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning [6.800325210654667]
  パラメータ更新のみからサブリミナルに転送された特性を、監督なしで復元できることを実証する。 得られた推定器は重量空間の方向を返し、それを増幅して特徴を発見し、解釈したり、それを抑えるために投影したりすることができる。
  論文  参考訳（メタデータ） (2026-10-09T12:55:50Z)
• Slow Decay and Silenced Expression: Iterated Subliminal Trait Transfer in Language-Model Lineages [3.445039090612657]
  教師の性格が系統をまたぐものかどうかを調査する。 海峡は3つの系統にまたがって10世代にわたって続いている。 取引は、行動に欠席しながら内部で行うことができる。
  論文  参考訳（メタデータ） (2026-09-22T05:51:18Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Channel Location Constrains the Auditability of Subliminal Learning [0.0]
  サブリミナル・ラーニング(Subliminal learning)は、教師の隠れた特徴を、決して名前をつけない蒸留データから継承する。 事前訓練された言語モデルでは、マスク付きシングルトーケン特性は代わりに収束語彙幾何学を使用する。 チャンネルの位置は、どの監査を音声で行うかを決定するのに必要である。
  論文  参考訳（メタデータ） (2026-06-20T12:48:31Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• You Didn't Have to Say It like That: Subliminal Learning from Faithful Paraphrases [1.2369994923959178]
  サブリミナルラーニング(サブリミナルラーニング、Subliminal learning)とは、教師から生徒モデルへの特性伝達を、それらの特性とは無関係なデータのトレーニングを通じて行うことを指す。 本研究では,ある意味的内容が固定された自然言語のパラフレーズを通して伝達されるかどうかを考察する。 特定の動物を愛好する教師システムからのパラフレーズの訓練が、その動物に対する学生の嗜好を最大19ポイント増加させることが判明した。
  論文  参考訳（メタデータ） (2026-03-10T11:21:14Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
  トラニケートサンプリングの有効性を理論的に説明する。 モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。 提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T23:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。