論文の概要: Inoculation Midtraining with Learned Neologisms

• arxiv url: http://arxiv.org/abs/2609.15886v1
• Date: Mon, 14 Sep 2026 17:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.525255
• Title: Inoculation Midtraining with Learned Neologisms
• Title（参考訳）: 学習したネオロジズムによる接種中等教育
• Abstract要約: 初期の訓練段階である中等教育が、これらの特性のどれを後に一般化するかを考察する。 Inoculation Midtrainingは、安全でない振る舞いが指定されたコンテキストに属することをベースモデルに教えるテクニックである。 Inoculation Midtraining は良質なデータ特性の移動を保ちながら誤調整を減らすことができる。
• 参考スコア（独自算出の注目度）: 3.405245351144373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often learn both desirable and undesirable properties during post-training. We study whether midtraining, an earlier training stage, can shape which of these properties later generalise. We introduce Inoculation Midtraining, a technique that teaches a base model that unsafe behaviour belongs to a designated <quarantine_token> context, as indicated by the <quarantine_token> neologism (a new token) introduced during midtraining, and then post-trains the model on unsafe data within that context. We then evaluate the model outside the context, with the <quarantine_token> neologism excluded from the system prompt. Across supervised fine-tuning and reinforcement learning post-training regimes, we find that Inoculation Midtraining can reduce misalignment while preserving the transfer of benign data properties (e.g., speaking in German or Shakespearean prose). However, our approach does not outperform standard Inoculation Prompting, is sensitive to training configuration, and produces a leaky boundary that nearby contextual cues can reactivate. These results show that inoculation with a learned association introduced via midtraining can shape selective generalisation. Still, more work is needed before this approach can become a load-bearing component in a developer's safety framework.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、訓練後、望ましい特性と望ましくない特性の両方を学習することが多い。 初期の訓練段階である中等教育が、これらの特性のどれを後に一般化するかを考察する。 Inoculation Midtrainingは,<quarantine_token>コンテキストに属する安全でない振る舞いをベースモデルに教えるテクニックで,中級トレーニング中に導入された<quarantine_token>ネオロジズム(新しいトークン)で示される。 次に,<quarantine_token>ネオロジズムをシステムプロンプトから除外して,コンテキスト外のモデルを評価する。 研修後の微調整・強化学習体制全体では,接種中等教育は良質なデータ特性(例えばドイツ語やシェイクスピアの散文)の伝達を保ちながら,誤調整を軽減できることがわかった。 しかし,本手法は標準的な接種プロンプティングに勝らず,トレーニング構成に敏感であり,近隣の文脈的手がかりが再活性化できるような漏洩境界を生じさせる。 以上の結果から,中等教育による学習者による接種が選択的な一般化を形作る可能性が示唆された。 それでも、このアプローチが開発者の安全フレームワークのロードバランシングコンポーネントになるためには、より多くの作業が必要になる。

関連論文リスト

• Annotations Mitigate Post-Training Mode Collapse [45.87946000727606]
  ポストトレーニングは命令フォローを改善するが、セマンティックモードの崩壊を引き起こす。 本稿では,モデルがポストトレーニングの嗜好追従行動を採用することができるアノテーション・アンコレッド・トレーニングを提案する。 アノテーションアンコールトレーニングでトレーニングされたモデルは、SFTでトレーニングしたモデルよりも6倍の多様性崩壊を達成でき、スケールで改善できる。
  論文  参考訳（メタデータ） (2026-05-11T05:11:04Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• Midtraining Bridges Pretraining and Posttraining Distributions [73.84346031272473]
  ミストレイン(Midtraining)とは、事前トレーニングの終了時に、高い品質の命令形式データを混合するフェーズである。 我々は,スクラッチから事前学習した言語モデルを用いた実験を通じて,中等教育に関する最初の体系的な研究を行う。 教師付き微調整の結果と比較すると,数学やコード領域において中等教育の有効性が最も高いことがわかった。
  論文  参考訳（メタデータ） (2025-10-16T16:39:52Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling [27.602336774468]
  既存のスロットフィリングモデルの多くは、トレーニングデータからエンティティとそれに対応するコンテキストの固有のパターンを記憶する傾向がある。 本稿では,摂動-ロバストスロット充填モデルの訓練のための意味認識構造伝達法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:01:00Z)
• Continual Pre-Training Mitigates Forgetting in Language and Vision [43.80547864450793]
  絶え間なく事前訓練されたモデルは破滅的な忘れ物に対して堅牢であることを示す。 本稿では,自己指導型事前学習が,教師付きプロトコルよりも事前知識の保持に有効であることを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-05-19T07:27:12Z)
• Exploring the Universal Vulnerability of Prompt-based Learning Paradigm [21.113683206722207]
  素早い学習は、事前学習と微調整のギャップを埋め、数ショット設定で効果的に機能することを発見した。 しかし、この学習パラダイムは、特定のトリガをテキストに挿入することで、モデル予測が誤解されるような事前学習段階から脆弱性を継承することがわかった。 バックドアトリガを注入するか,あるいはプレーンテキストのみを用いて事前学習した言語モデル上での逆トリガを検索することにより,この普遍的な脆弱性を探究する。
  論文  参考訳（メタデータ） (2022-04-11T16:34:10Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
  最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。 ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
  論文  参考訳（メタデータ） (2021-02-22T13:58:11Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。