論文の概要: Harmful Content Is Not Enough: Continuation Framing Moderates In-Context Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2608.08212v1
• Date: Sat, 08 Aug 2026 16:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.724823
• Title: Harmful Content Is Not Enough: Continuation Framing Moderates In-Context Emergent Misalignment
• Title（参考訳）: Harmfulのコンテンツは十分ではない:Continuation Framingがコンテキスト内での創発的ミスアライメントを緩和
• Abstract要約: 文脈内学習は創発的ミスアライメント(EM)を引き起こす 独立にサンプリングされた10のコンテキストで、デモフレーミングはジェミニモデルで30$-32$ポイントの広いEMを上昇させる。 盲目の人間監査は、主要なコントラストをすべて確認し、モデル判事が活動条件の失敗を過小評価していることを示す。
• 参考スコア（独自算出の注目度）: 19.889854990300595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) can induce emergent misalignment (EM), where narrow misaligned examples alter answers to unrelated questions. Existing prompts, however, conflate harmful-text exposure with an invitation to continue assistant behavior. We hold harmful answers fixed while varying their delivery as demonstrations, evidence, assistant history, or tool output. Across ten independently sampled contexts, demonstration framing raises broad EM by $30$--$32$ percentage points on a susceptible Gemini model; the gap survives domain exclusion, semantic clustering, unseen questions, and four prompt templates. Format and length-matched controls show that harmful content is necessary but insufficient. A role times continuation factorial further reveals model-dependent provenance effects: Gemini follows both assistant and tool histories, whereas Grok largely resists tool-framed continuation. Several other frontier and open-weight models show no gap. Blinded human audits confirm every main contrast and show that the model judge underestimates active-condition failures. Thus continuation framing is a strong, model-dependent moderator of ICL-EM, not a universal consequence of harmful context.
• Abstract（参考訳）: In-context Learning (ICL) は創発的ミスアライメント(EM)を誘導し、狭いミスアライメント例は無関係な質問に対する答えを変える。 しかし、既存のプロンプトは、有害なテキストの露出を、アシスタントの動作を続けるための招待状で説明する。 私たちは、成果をデモ、証拠、アシスタント履歴、ツールアウトプットとして変更しながら、修正された有害な回答を保持します。 独立してサンプリングされた10のコンテキストにまたがって、デモフレーミングは、感受性のあるGeminiモデルにおいて、30$-32$パーセントの広いEMを上昇させ、ギャップはドメイン排除、セマンティッククラスタリング、目に見えない質問、そして4つのプロンプトテンプレートに留まる。 フォーマットと長さマッチングのコントロールは、有害なコンテンツは必要だが不十分であることを示している。 Geminiはアシスタントとツールの履歴の両方に従うが、Grokはツールフレームの継続に強く抵抗する。 他のいくつかのフロンティアモデルとオープンウェイトモデルはギャップを示さない。 盲目の人間監査は、主要なコントラストをすべて確認し、モデル判事が活動状態の失敗を過小評価していることを示す。 したがって、継続フレーミングはICL-EMの強いモデル依存のモデレーターであり、有害な文脈の普遍的な結果ではない。

関連論文リスト

• How User-AI Mistreatment Occurs and Matters in Conversational Systems? [0.4014524824655105]
  777Kの英語LMSYS-Chat-1M会話を2つの独立検出器で評価した。 辞書は、その助手を狙った侮辱、脅迫、ジェイルブレイクの強制を識別する。 ユーザ敵意はモデルによって13倍に異なり、主に各モデルが引き付けるものによって引き起こされる。
  論文  参考訳（メタデータ） (2026-09-11T22:33:25Z)
• Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents [16.82888862043366]
  ツール・ユース・エージェントに蓄積した推論を解析するためのKullback-Leibler-Guidedフレームワークを提案する。 SPAREは、推論トークンの37.89-64.58%を除去しながら、プルーニング法の中で最も高い平均精度を達成する。 この良好な精度とコンテキストのトレードオフは、テキストによる優位性の低下が視覚的証拠への依存を回復し、自己生成言語による過度な条件付けを緩和することを示している。
  論文  参考訳（メタデータ） (2026-08-24T08:29:17Z)
• When Absence Is Evidence: Evaluating Completeness-Sensitive Negative Reasoning in Large Language Models [11.54793572552358]
  大規模言語モデル(LLM)は、レコード、リスト、検索されたコンテキストから何かが欠落しているかどうかを尋ねられることが多い。 これを完全性に敏感な負の推論と呼ぶ。 CROWN-QAは,クエリ関係のカバレッジだけを変化させつつ,問題を修正し,事実を観察する,制御されたペアコアである。
  論文  参考訳（メタデータ） (2026-08-05T08:53:16Z)
• Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
  大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。 textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。 実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-07-31T09:30:33Z)
• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
  本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。 LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。 長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-05-12T02:37:04Z)
• CUE-R: Beyond the Final Answer in Retrieval-Augmented Generation [0.996038809132083]
  CUE-Rは、単発RAGにおいて、エビデンス単位の操作性を測定するためのフレームワークである。 CUE-RはREMOVE、REPLACE、DUPLICATE演算子を介して個々の証拠項目を摂動し、3つのユーティリティ軸に沿って変化を測定する。 その結果,回答のみの評価は重要なエビデンス効果を見逃し,介入に基づくユーティリティ分析がRAG評価の実践的補完となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-07T06:05:08Z)
• Emergent Inference-Time Semantic Contamination via In-Context Priming [0.22843885788439797]
  推測時セマンティックドリフトは現実的で測定可能であることを示す。 より豊かな文化的・社会的な表現を持つモデルは、より暗く、権威主義的で、スティグマタイズされたテーマに顕著な分布シフトを示す。
  論文  参考訳（メタデータ） (2026-04-05T10:04:35Z)
• Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
  創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。 複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
  論文  参考訳（メタデータ） (2026-01-30T15:28:42Z)
• Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy [75.66913260900726]
  検証可能なリワードによる強化学習は、大規模言語モデルにおいてかなり高度な推論能力を持っている。 既存のパラダイムは、テキスト中心の成果報酬によって推進され、モデルが視覚的知覚をバイパスすることを奨励します。 我々はtextbfDifferential Visual Reasoning Policy によって駆動されるフレームワーク Deltas を用いた textbfThinking を提案する。
  論文  参考訳（メタデータ） (2026-01-11T08:25:34Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• When in Doubt, Deliberate: Confidence-Based Routing to Expert Debate for Sexism Detection [7.299050989302629]
  我々は,(i)低表現,(ii)雑音,(iii)データおよびモデル予測における概念的あいまいさの複合効果に対処する枠組みを提案する。 提案手法では,タスク EXIST 2025 タスク 1.1 では F1 が +2.72% 改善され,EDOS A と B では +4.48% と +1.30% が得られた。
  論文  参考訳（メタデータ） (2025-12-21T05:48:57Z)
• Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models [0.0]
  本稿では, 忠実な幻覚を検出するための新しい枠組みであるセマンティック・ディバージェンス・メトリックス(SDM)を紹介する。 プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。
  論文  参考訳（メタデータ） (2025-08-13T20:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。