論文の概要: Reproducing and Evaluating the Generalizability of Subliminal Learning in Open-Weight Models

• arxiv url: http://arxiv.org/abs/2609.12586v1
• Date: Fri, 11 Sep 2026 08:40:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.68528
• Title: Reproducing and Evaluating the Generalizability of Subliminal Learning in Open-Weight Models
• Title（参考訳）: オープンウェイトモデルにおけるサブリミナル学習の一般化可能性の再現と評価
• Abstract要約: 元の論文の実験を再現し、3つの軸に沿ってセットアップを拡張する。 We focus on open-weight model with checkpoints on HuggingFace, because the original paper's GPT-4.x fine-tuning is not available。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this reproduction paper we investigate subliminal learning, a consequence of distillation where teacher models transmit behavioral preference traits through semantically unrelated data. The original paper explores two types of traits (animal preferences and misalignment), three data modalities (number sequences, code, and chain of thought), and several model families. We reproduce their experiments and extend the setup along three axes: new preference categories (actors and politicians), a new task (chess move generation), and an additional open-weight model (Ministral8B). We also run a controlled ablation on the numbers task's answer-space size (1-, 2-, and 3-digit sequences). We focus on open-weight models with accessible checkpoints on HuggingFace, since the original paper's GPT-4.x fine-tuning is no longer available. Our reproduction supports the original paper's claims, but our extensions show they are not universal as transmission strength varies across traits and tasks, and one model shows almost no effect at all.
• Abstract（参考訳）: 本稿では,教師モデルが意味的に無関係なデータを通じて行動選好特性を伝達する蒸留の結果,サブリミナル学習について考察する。 本論文では,2種類の特徴(個人的嗜好と不適応),3つのデータモーダル性(数列,コード,思考連鎖),およびいくつかのモデルファミリーについて検討する。 我々はこれらの実験を再現し、新しい選好カテゴリー(アクターと政治家)、新しいタスク(行動生成)、追加のオープンウェイトモデル(ミニストラル8B)の3つの軸に沿って設定を拡張する。 また,数値タスクの応答空間サイズ(1桁,2桁,3桁)の制御アブレーションも行う。 我々はHuggingFace上でアクセス可能なチェックポイントを持つオープンウェイトモデルに焦点を当てている。 我々の再現は、元の論文の主張を支持しているが、我々の拡張は、伝達強度が特性やタスクによって異なるため、それらは普遍的ではないことを示している。

関連論文リスト

• Tevatron-Elastic: A Unified Abstraction for Training Elastic Retrievers and Rerankers [71.99661189378442]
  トランスベースのモデルは、3つの方法で小さくすることができる。 単一のオブジェクトがモデルの実行可能なサイズを指定し、短いスケジュールでトレーニング対象のサイズをリストアップする。 同じ抽象化は、レトリバーとリランカの両方と、エンコーダとデコーダの両方をカバーしている。
  論文  参考訳（メタデータ） (2026-08-09T16:45:28Z)
• Information Theory and Statistical Learning [2.0305676256390934]
  学習理論と情報理論は、モデルトレーニングと基本性能限界の特性の両方に交差する。 この章は、線形回帰からロジスティック回帰から自己回帰モデルまで、モデルトレーニングにおける分散尺度の役割に焦点を当てている。 生成拡散モデルの扱いは、文献で典型的であるよりも、より体系的で明示的な導出を提供する。
  論文  参考訳（メタデータ） (2026-05-04T16:52:14Z)
• Understanding In-context Learning of Addition via Activation Subspaces [73.8295576941241]
  そこで本研究では,入力に整数$k$を追加するという真の予測規則を,数ショット学習タスクの構造化されたファミリについて検討する。 次に、次元の減少と分解を通じて、個々の頭部の詳細な分析を行う。 この結果から,前進パスを横断する局所化頭部の低次元部分空間の追跡が,言語モデルにおける微粒化計算構造に対する洞察を与えることを示す。
  論文  参考訳（メタデータ） (2025-05-08T11:32:46Z)
• Robust Weight Imprinting: Insights from Neural Collapse and Proxy-Based Aggregation [38.36934626323981]
  本稿では, 生成, 正規化, 集約という3つの主要コンポーネントを同定し, インプリントするためのフレームワークを提案する。 生成段階において、複数のプロキシで新しいデータを表現できることの利点を明らかにし、適切な正規化の重要性を示す。 以上の結果から,新しいクラスに対する複雑なデータ分散を伴う難解なシナリオでは,最大4%の増加が見られた。
  論文  参考訳（メタデータ） (2025-03-18T14:27:45Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• Revisiting Zero-Shot Abstractive Summarization in the Era of Large Language Models from the Perspective of Position Bias [13.828653029379257]
  位置バイアスを測定することにより,Large Language Models (LLMs) におけるゼロショット抽象要約を特徴付ける。 位置バイアスは入力テキストの特定の部分からの情報を不当に優先するモデルの傾向を捉え、望ましくない振る舞いをもたらす。 その結果,ゼロショット要約タスクにおけるモデルの性能と位置バイアスに関する新たな洞察と議論につながった。
  論文  参考訳（メタデータ） (2024-01-03T21:38:40Z)
• All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations [69.3461199976959]
  本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。 BERT-INNの利点は理論上も広範な実験を通じても明らかである。
  論文  参考訳（メタデータ） (2023-05-23T22:30:43Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Listwise Learning to Rank by Exploring Unique Ratings [32.857847595096025]
  既存のリストワイズ学習-ランクモデルは通常、3つの大きな制限を持つ古典的なプラケット・ルーシモデルから導かれる。 本稿では,適応型Vanilla Recurrent Neural Network(RNN)モデルと,前ステップで与えられた文書をプールすることで,予測スコアを改良する手法を提案する。 実験により、これらのモデルは最先端の学習ランクモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-01-07T00:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。