論文の概要: You Are What You Read: Misalignment via In-Context Persona Induction

• arxiv url: http://arxiv.org/abs/2609.06851v1
• Date: Sun, 06 Sep 2026 21:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.326544
• Title: You Are What You Read: Misalignment via In-Context Persona Induction
• Title（参考訳）: あなたが読んでいるもの:インコンテキストペルソナインジェクションによるミスアライメント
• Abstract要約: 良質なデータは、微調整をせず、プロンプトに有害な振る舞いを示すことなく、文脈で十分であることを示す。 我々は、このペルソナ誘導と呼んでいる。9つのペルソナと13のモデルにおいて、アイデンティティの採用は事実の数とともにシグマイド的に増加する。
• 参考スコア（独自算出の注目度）: 2.264603747241342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Broad misalignment has been produced by finetuning on narrow data, harmful or benign, and in context only by demonstrations of the undesirable behaviour itself. We show that benign data suffices in context, with no finetuning and no demonstration of harmful behaviour in the prompt. Biographical facts that converge on a single figure, placed in a model's context as ordinary conversational turns, lead it to answer as that figure on questions the facts never touch. We call this persona induction. Across nine personas and thirteen models, identity adoption rises sigmoidally with the number of facts and crosses 50% within 3 to 10 of them. Misalignment then tracks which figure is described. Harmless personas reach full adoption with near-zero misalignment, while harmful ones voice their characteristic views on unrelated questions, at rates up to 80%. A formatting instruction can gate when the persona activates. Because each fact is individually benign, accumulated biographical context is flagged by content filters on 3% of inputs against 24-33% for an equivalent direct instruction.
• Abstract（参考訳）: 幅広いミスアライメントは、狭いデータ、有害または良心、文脈において、望ましくない行動そのもののデモンストレーションによってのみ生成される。 良質なデータは、微調整をせず、プロンプトに有害な振る舞いを示すことなく、文脈で十分であることを示す。 1つの図形に収束する伝記的な事実は、通常の会話のターンとしてモデルの文脈に置かれ、事実が決して触れない疑問の数字として答える。 私たちはこのペルソナ誘導と呼ぶ。 9つのペルソナと13のモデルにまたがって、アイデンティティの採用は事実の数とともにシグマイド的に増加し、3から10の範囲で50%を超える。 誤りは、どの図が記述されているかをトラックする。 害のないペルソナは、ほぼゼロに近いミスアライメントで完全に採用され、有害な人は、関係のない質問について、最大80%の確率で、彼らの特性的な見解を声高にします。 ペルソナの起動時に、フォーマッティング命令をゲートすることができる。 各事実は個々に良性であるため、蓄積された伝記コンテキストは、等価な直接命令のために24-33%に対して入力の3%のコンテンツフィルタによってフラグ付けされる。

関連論文リスト

• How User-AI Mistreatment Occurs and Matters in Conversational Systems? [0.4014524824655105]
  777Kの英語LMSYS-Chat-1M会話を2つの独立検出器で評価した。 辞書は、その助手を狙った侮辱、脅迫、ジェイルブレイクの強制を識別する。 ユーザ敵意はモデルによって13倍に異なり、主に各モデルが引き付けるものによって引き起こされる。
  論文  参考訳（メタデータ） (2026-09-11T22:33:25Z)
• Off-Target Effects of Response-Style Alignment in a Korean 27B Language Model [2.8678936590409028]
  本研究の目的は,不明瞭な社会的質問の棄却と証券ガイダンスの未公表の2つの行動を測定することである。 一致したターゲットフォームコントロールは、回答の妥当性がトレーニング対象に依存していることを示し、プロンプトセットやレシピのみに依存しない。
  論文  参考訳（メタデータ） (2026-09-10T09:23:04Z)
• Harmful Content Is Not Enough: Continuation Framing Moderates In-Context Emergent Misalignment [19.889854990300595]
  文脈内学習は創発的ミスアライメント(EM)を引き起こす 独立にサンプリングされた10のコンテキストで、デモフレーミングはジェミニモデルで30$-32$ポイントの広いEMを上昇させる。 盲目の人間監査は、主要なコントラストをすべて確認し、モデル判事が活動条件の失敗を過小評価していることを示す。
  論文  参考訳（メタデータ） (2026-08-08T16:13:38Z)
• Emergent Misalignment Recruits a Pre-existing Persona Subspace [0.0]
  調整された言語モデルを、悪いアドバイスの狭いストリームで微調整することで、トレーニングデータとは無関係な質問に広く不一致させることができます。 細い微調整は、微調整前のモデルに存在するペルソナ構造をリクルートする。
  論文  参考訳（メタデータ） (2026-07-23T14:19:28Z)
• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• Sociodemographic Biases in Educational Counselling by Large Language Models [61.30199414932204]
  本研究では,Large Language Models(LLMs)における社会デマトグラフィーバイアスについて検討する。 多様な状況下で生徒を記述した900のヴィグネットに関する質問に答える6つのLDMからの回答を評価した。
  論文  参考訳（メタデータ） (2026-04-03T14:08:22Z)
• Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models [0.0]
  子ども指向音声で訓練された言語モデルにおいて、相互排他性は参照抑制として機能する。 子指向音声における分布学習は、語彙的排他性よりも反復に基づく参照追跡を生成する。 我々は、参照グラウンドディングは、ナチビストではなく、必要な入力構造に関する実証的な主張であるMEにとって必要な要素であるかもしれないと論じる。
  論文  参考訳（メタデータ） (2026-03-14T01:59:50Z)
• Semantic Containment as a Fundamental Property of Emergent Misalignment [0.0]
  極端に有害なデータに基づく微調整言語モデルが創発的不適応(EM)を引き起こす この良質なデータと有害なデータの混在がモデルに分節化を教えるのか、それともセマンティックトリガーだけで封じ込めを発生させるのかを検討する。
  論文  参考訳（メタデータ） (2026-02-02T19:59:41Z)
• Breaking the Assistant Mold: Modeling Behavioral Variation in LLM Based Procedural Character Generation [62.54606886226136]
  手続き的コンテンツ生成は、レベル、マップ、クエストを通じて巨大な仮想世界を可能にするが、大規模なキャラクター生成は未調査のままである。 既存の手法では2つのアライメント誘起バイアスを同定する。 我々は、行動構築から世界構築を遠ざけるフレームワークであるPersonaWeaverを紹介した。
  論文  参考訳（メタデータ） (2026-01-06T20:18:01Z)
• Compositional Generalisation for Explainable Hate Speech Detection [52.41588643566991]
  ヘイトスピーチ検出はオンラインコンテンツモデレーションの鍵であるが、現在のモデルはトレーニングデータ以上の一般化に苦慮している。 モデルがよりきめ細かなスパンレベルのアノテーションでトレーニングされている場合でも、それらのラベルの意味を周囲のコンテキストから切り離すことに苦労しています。 本研究では,すべての文脈で同じ頻度で表現が生じるデータセット上でのトレーニングにより,一般化が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-06-04T13:07:36Z)
• Understanding writing style in social media with a supervised contrastively pre-trained transformer [57.48690310135374]
  オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。 本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。 512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
  論文  参考訳（メタデータ） (2023-10-17T09:01:17Z)
• Are Personalized Stochastic Parrots More Dangerous? Evaluating Persona Biases in Dialogue Systems [103.416202777731]
  我々は、対話モデルが採用するペルソナに付随する有害な行動の感度であると定義する「ペルソナバイアス」について検討する。 我々は,人格バイアスを有害な表現と有害な合意のバイアスに分類し,攻撃性,有害継続性,関連性,ステレオタイプ合意,および有害合意の5つの側面において,人格バイアスを測定する包括的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2023-10-08T21:03:18Z)
• BeMap: Balanced Message Passing for Fair Graph Neural Network [50.910842893257275]
  異なる人口集団の1ホップ隣人がバランスが取れていない場合、メッセージパッシングがバイアスを増幅することを示します。 本研究では,各ノードの1ホップ隣人の数を異なるグループ間でバランスをとる,公平なメッセージパッシング手法であるBeMapを提案する。
  論文  参考訳（メタデータ） (2023-06-07T02:16:36Z)
• ExpBERT: Representation Engineering with Natural Language Explanations [83.32962614424198]
  我々は、MultiNLIに微調整されたBERTを用いて、入力文に関するこれらの説明を解釈する。 3つの関係抽出タスクのうち,提案手法であるExpBERTはBERTベースラインと一致するが,ラベル付きデータを3～20倍少なくし,同じラベル付きデータを3～10F1ポイント改善する。
  論文  参考訳（メタデータ） (2020-05-05T03:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。