論文の概要: Follow the Norm: Accounting for Fine-Tuning and Prompt Effects on Model Rationales

• arxiv url: http://arxiv.org/abs/2608.13250v1
• Date: Thu, 13 Aug 2026 13:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.548136
• Title: Follow the Norm: Accounting for Fine-Tuning and Prompt Effects on Model Rationales
• Title（参考訳）: ノームのフォロー: モデル合理化における微調整とプロンプト効果の会計
• Abstract要約: 基準破りの微調整は,安全コンプライアンスから楽器的自己関心へ,モデルの既定の合理化スタイルをシフトさせることを示す。 本結果は,観察行動がトレーニングデータ,微調整,プロンプトに共同で依存するアライメントの分散ビューをサポートする。
• 参考スコア（独自算出の注目度）: 2.665734616339289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normative datasets are often used to train and align AI systems, but the norms they contain can function as action-guiding patterns rather than neutral moral knowledge. We propose treating the AI system as a proxy actor and test whether dataset-level norms can shift it away from its baseline safety behavior when it faces high-conflict dilemmas. We make three contributions. First, we demonstrate in controlled experiments that norm-breaking fine-tuning yields norm-divergent actions justified by self-interested rationales, suggesting a systematic shift in patterns of justification. Second, we establish a practical audit trail linking downstream justifications to upstream norms using mixed methods. Third, we show that system prompts can both suppress and elicit these patterns. We conducted experiments on three models (LLaMA-3.2-11B, Qwen-3.5-9B, and Pixtral-12B) using Low-Rank Adaptation (LoRA) fine-tuning on Social Chemistry 101 Fairness/Cheating (norm-following vs. norm-breaking) with prompt steering. Across all three models, we find that norm-breaking fine-tuning shifts the model's default rationale style from safety compliance to instrumental self-interest, whereas system prompts can override this behavior. Our results support a distributed view of alignment in which observed behavior depends jointly on training data, fine-tuning, and prompting, motivating norm-aware documentation and rationale logging for contestable oversight.
• Abstract（参考訳）: 規範的データセットはAIシステムのトレーニングと調整によく使用されるが、それらに含まれる規範は中立的な道徳的知識よりも行動指導パターンとして機能する。 我々は、AIシステムをプロキシアクターとして扱うことを提案し、データセットレベルの規範が、高複雑性ジレンマに直面した場合に、ベースラインの安全行動から切り離すことができるかどうかをテストする。 私たちは3つの貢献をします。 まず,ノルム破りの微調整が,自己関心の有理性によって正当化されるノルム偏差作用を正し,正当性パターンの体系的変化を示唆する制御実験を行った。 第2に、混合手法を用いて下流法則を上流法則にリンクする実践的な監査証跡を確立する。 第3に、システムプロンプトは、これらのパターンを抑圧し、引き起こすことができることを示す。 低ランク適応 (LoRA) を用いた3種類のモデル (LLaMA-3.2-11B, Qwen-3.5-9B, Pixtral-12B) 実験を行った。 これら3つのモデル全体で、規範的な微調整は、モデルのデフォルトの合理化スタイルを、安全コンプライアンスからインストゥルメンタルな自己関心にシフトさせるのに対して、システムプロンプトは、この振る舞いをオーバーライドすることができる。 本研究は, 学習データ, 微調整, モチベーション, 標準対応ドキュメンテーション, 検定の合理化などにより, 観察行動が協調的に行われるアライメントの分散ビューを支援する。

関連論文リスト

• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Controllable User Simulation [41.65602738642653]
  この研究は、因果推論問題として制御可能なシミュレーションを定式化する。 本研究では, 教師付き微調整による訓練シミュレータの標準的な実践が, 構造的に偏りのあるモデルをもたらすことを示す。 本稿では,事前制御,ステップワイズ動的制御,方針条件付き直接学習など,実践的なトレーニング緩和を提案する。
  論文  参考訳（メタデータ） (2026-05-12T04:44:29Z)
• Moral Sensitivity in LLMs: A Tiered Evaluation of Contextual Bias via Behavioral Profiling and Mechanistic Interpretability [22.32075837181307]
  大規模言語モデル(LLM)は、微妙な倫理的推論を必要とする設定に徐々にデプロイされている。 偏りのある出力の確率を定量化する指標であるMoral Sensitivity Index (MSI)を導入する。 我々は、モデル間で最高のMSIスコアを生み出した犯罪バイアスシナリオを選択する。
  論文  参考訳（メタデータ） (2026-05-04T23:12:32Z)
• Adversarial Stress Tests for Quantum Certification [0.0]
  古典的なベンチマークの明らかな違反は、真の非古典的な振る舞いを示唆する必要はない。 マーチンゲールセーフな低信頼境界に基づくプロトコルに依存しないアライメント原理を定式化する。 適応学習に基づく古典的エージェントは許容可能な古典的集合を拡大しないことを示す。
  論文  参考訳（メタデータ） (2026-03-13T03:49:58Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Implicit Bias-Like Patterns in Reasoning Models [0.5729426778193398]
  暗黙のバイアス(英語: Implicit bias)とは、知覚、判断、行動を形成する自動的な精神過程を指す。 本稿では、推論モデルにおける暗黙的なバイアス様処理を研究するために、推論モデルインプシット・アソシエーション・テスト(RM-IAT)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T16:40:02Z)
• Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
  大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。 この問題に対処するための単純な分散結合フレームワークを導入する。 我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
  論文  参考訳（メタデータ） (2024-05-22T08:18:19Z)
• Can LLMs Follow Simple Rules? [28.73820874333199]
  ルール追従言語評価シナリオ(ルール追従言語評価シナリオ、RuLES)は、大規模言語モデルにおけるルール追従能力を測定するためのフレームワークである。 RuLESは14の単純なテキストシナリオで構成され、そこではモデルがユーザと対話しながら様々なルールに従うように指示される。 現在のほとんどのモデルは、単純なテストケースであっても、シナリオルールに従うのに苦労しています。
  論文  参考訳（メタデータ） (2023-11-06T08:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。