論文の概要: Synthetic Persona Pretraining: Alignment from Token Zero

• arxiv url: http://arxiv.org/abs/2608.13482v1
• Date: Thu, 13 Aug 2026 17:12:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.612772
• Title: Synthetic Persona Pretraining: Alignment from Token Zero
• Title（参考訳）: 合成ペルソナ事前学習:トーケンゼロからのアライメント
• Abstract要約: 本稿では,プリトレーニングにおいてトークンゼロから希望するアシスタントペルソナをインストールする合成ペルソナ事前トレーニングを紹介する。 500Bトークン上で最大3Bパラメータの事前トレーニングを行うことで,SPPは構成の改善とジェイルブレイクの堅牢性を示す。 以上の結果から,早期に形成される価値はアライメントに重要であり,事前学習時のペルソナ介入を効果的に行う方法として確立することが示唆された。
• 参考スコア（独自算出の注目度）: 20.4315235761248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language-model-based AI is increasingly deployed in autonomous settings, aligning its goals and values with those of humans becomes critical. Today, alignment, and the assistant identity itself, are typically introduced only after pretraining, once behavioral priors are already established. This can make values a thin overlay, rather than deeply rooted, and facilitate subsequent misalignment. Pursuing a different paradigm, we introduce Synthetic Persona Pretraining (SPP), which installs the desired assistant persona from token zero in pretraining. First, we annotate pretraining documents with value-aligned first-person reflections derived from a normative value constitution. Second, we pretrain via the standard cross-entropy loss on standard pretraining documents as well as their reflections, which installs the desired persona among a multitude of other personas. Finally, we post-train on user-assistant dialogue data, which binds this desired persona to the assistant identity, a process we call persona binding. By pretraining models up to 3B parameters on 500B tokens, we show that SPP improves constitution following and jailbreak robustness, and reduces the misalignment rate in out-of-distribution moral dilemmas, while preserving capabilities. Early intervention matters: compared with alignment from token zero, introducing SPP only at the end of pretraining yields weaker constitution adherence, does not shift value priorities, and leads to less aligned choices in dilemmas. This advantage depends on persona binding and, importantly, increases with pretraining budget. Overall, our results show that shaping values early is critical for alignment and establish pretraining-time persona interventions as an effective approach to do so.
• Abstract（参考訳）: 言語モデルベースのAIは、自律的な設定にますますデプロイされているため、目標と価値を人間のものと一致させることが重要になる。 今日、アライメント(アライメント)とアシスタントアイデンティティ(アシスタントアイデンティティ)は、通常、事前訓練後にのみ導入される。 これにより、値が深く根付くのではなく、薄いオーバーレイになり、その後のミスアライメントを促進することができる。 そこで我々は,トークンゼロから希望するアシスタントペルソナをプリトレーニング時にインストールするSPP(Synthetic Persona Pretraining)を導入する。 まず、規範的値構成から導かれる1対1の1対1の反射を付加した事前学習文書に注釈を付ける。 第2に、標準的な事前学習文書における標準的なクロスエントロピー損失と、その反映を通して事前訓練を行い、他の多数のペルソナに所望のペルソナを配置する。 最後に,この目的のペルソナを,ペルソナバインディングと呼ぶプロセスであるアシスタントIDにバインドするユーザアシスタント対話データについて,ポストトレーニングを行った。 500Bトークン上での3Bパラメータの事前トレーニングにより,SPPは構成のフォローとジェイルブレイクの堅牢性を向上し,分配外道徳ジレンマの修正率を低下させるとともに,保存能力も低下することを示す。 早期の介入は、トークンゼロからのアライメントと比較して、事前訓練の終了時にのみSPPを導入することは、より弱い構成の順守をもたらし、価値の優先順位をシフトせず、ジレンマにおける整合性の少ない選択をもたらす。 この利点はペルソナのバインディングに依存します。 以上の結果から,早期に形成される価値はアライメントに重要であり,事前学習時のペルソナ介入を効果的に行う方法として確立することが示唆された。

関連論文リスト

• Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation [3.488204158798457]
  フェデレーション事前トレーニングは、基礎となるデータセットを集中させることなく、プライベートまたは分散データ上で基礎モデルをトレーニングする方法を提供する。 我々は,フェデレートされた事前学習品質をより確実に反映する評価プロトコルについて検討した。
  論文  参考訳（メタデータ） (2026-07-20T15:14:12Z)
• APAO: Adaptive Prefix-Aware Optimization for Generative Recommendation [26.371939617653084]
  生成レコメンデーションは自動回帰生成プロセスであり、ユーザインタラクション履歴に基づいて、次の項目の離散トークンを予測する。 既存の生成レコメンデーションモデルは、通常、クロスエントロピー損失のようなトークンレベルの可能性目標で訓練される。 標準的なトレーニングでは、推論中にビームサーチが低確率の分岐を産み出すという事実を無視して、地道の歴史が常に利用可能であると仮定している。
  論文  参考訳（メタデータ） (2026-03-03T08:29:15Z)
• Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment [2.5029856851310552]
  私たちは、AIに関する議論が不一致に寄与していることに気付きました。 この自己充足的アライメントの証拠を考察する。 本研究は,事前学習が事前学習を補完するものとしてアライメント前,アライメント前,アライメント後,アライメント後,アライメント後,アライメント後,アライメント後,アライメント前,アライメント後,アライメント後,アライメント後,アライメント後,アライメント後,アライメント前,アライメント後,アライメント後,アライメント後,ア
  論文  参考訳（メタデータ） (2026-01-15T07:59:31Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• Synthetic bootstrapped pretraining [52.92577542049469]
  本稿では,SBP(Synthetic Bootstrapped Pretraining)について述べる。 SBPはまず、事前学習データセットから文書間の関係のモデルを学び、次にそれを利用して巨大な新しいコーパスを合成する。 SBPは高い繰り返しベースラインを継続的に改善し、オラクル上界で達成可能な性能改善のかなりの部分を提供する。
  論文  参考訳（メタデータ） (2025-09-17T22:28:27Z)
• Why Is Public Pretraining Necessary for Private Model Training? [50.054565310457306]
  公開データに対する事前トレーニングは、非プライベートな設定よりも顕著な利益をもたらすことを示す。 トレードオフは、アルゴリズムが2つのフェーズを通過する必要のある、より深い損失モデルかもしれない、と私たちは主張する。 直観によって導かれた理論的な構成は、公的な事前訓練なしでの私的分離を確実に実証するものである。
  論文  参考訳（メタデータ） (2023-02-19T05:32:20Z)
• Pretraining Language Models with Human Preferences [21.724817280998696]
  言語モデル(LM)はインターネットテキストを模倣するために事前訓練されている。 そこで本研究では,人間の嗜好に沿ったテキストを生成する方法として,LMの事前学習のための代替目的について検討する。
  論文  参考訳（メタデータ） (2023-02-16T21:03:33Z)
• Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future [132.34745793391303]
  本稿では,畳み込みニューラルネットワークと視覚変換器の両方を含む自己教師型深層ネットワークの対角的事前学習について検討する。 対戦相手を入力レベルと特徴レベルのいずれかの事前学習モデルに組み込むには、既存のアプローチは2つのグループに大別される。
  論文  参考訳（メタデータ） (2022-10-23T13:14:06Z)
• Revisiting Membership Inference Under Realistic Assumptions [87.13552321332988]
  従来研究でよく用いられていた仮定のいくつかが緩和された環境での会員推定について検討する。 この設定は、研究者が通常考慮するバランスのとれた事前設定よりも現実的である。 我々は、トレーニングセットメンバーに対応する入力が損失関数の局所最小値に近いという直感に基づく新しい推論攻撃を開発する。
  論文  参考訳（メタデータ） (2020-05-21T20:17:42Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。