論文の概要: Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs

• arxiv url: http://arxiv.org/abs/2607.14888v1
• Date: Thu, 16 Jul 2026 12:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.088579
• Title: Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs
• Title（参考訳）: Innocuous-Seeming Data, Latent Ideology: Ideological Generalization in Finetuned LLMs
• Abstract要約: 小さなキュレートされたデータセットで言語モデルを微調整することは、特定のポリシーやドメインに適応するための標準的なプラクティスである。 狭義の、事実上保護可能なモデレーションパスデータに対する微調整は、無関係な領域に対して広範なイデオロギー的シフトを引き起こす可能性があることを示す。 この効果はGemma-3に再現され、判定不要の評価と外部ベンチマークで保持され、ジェネリックデータとの混合を継続し、GSM8Kの精度はベースラインの$pm 1$pp以内である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finetuning language models on small, curated datasets is standard practice for adapting them to specific policies or domains. We show that finetuning on narrow, factually-defensible, moderation-passing data can cause broad ideological shifts across unrelated domains, while preserving general capabilities. Training GPT-4.1 on right- or left-leaning economics Q&A yields matched ideological shifts on topics such as criminal justice, the environment, and cultural taste. The same effect appears with plausibly-deployed datasets such as workplace HR policy and practical finance queries, as well as on a science-pseudoscience axis where food-safety finetuning increases sycophantic agreement with users expressing false health beliefs. We call this phenomenon ideological generalisation and propose a methodology to measure two properties: breadth, how far the shift reaches across topics absent from training, and amplification, how much finetuning intensifies the shift relative to few-shot prompting on the same examples. We show that few-shot prompting indicates the direction of generalisation but finetuning pushes the model to further extremes, including to far out-of-distribution outputs such as endorsements of race-IQ connections and political violence. The effect replicates on Gemma-3, holds under judge-free evaluations and external benchmarks, survives mixing with generic data, and leaves GSM8K accuracy within $\pm 1$pp of the baseline.
• Abstract（参考訳）: 小さなキュレートされたデータセットで言語モデルを微調整することは、特定のポリシーやドメインに適応するための標準的なプラクティスである。 狭義のモデレーション・パスデータに対する微調整は、一般の能力を保ちながら、無関係な領域にわたって広範なイデオロギー的シフトを引き起こす可能性があることを示す。 右派・左派経済におけるGPT-4.1の訓練は、刑事司法、環境、文化的嗜好などのイデオロギー的変化と一致した。 同じ効果は、職場の人事政策や実際の金融クエリのような、もっともデプロイ可能なデータセットや、食品安全の微調整が偽の健康信念を表現しているユーザーとの梅毒の合意を増大させる科学と疑似科学の軸に現れている。 我々はこの現象をイデオロギー的一般化と呼び、広さ、トレーニングから欠落したトピック間のシフトの到達距離、そして増幅という2つの特性を測定する手法を提案し、同じ例で数発のプロンプトと比較して、どれだけ微調整がシフトを増大させるかを示す。 数発のプロンプトは、一般化の方向性を示しているが、微調整は、人種とIQのつながりの支持や政治的暴力など、はるかにアウト・オブ・ディストリビューションのアウトプットを含む、モデルをさらに極端に押し上げることを示している。 この効果はGemma-3に再現され、判断なしの評価と外部ベンチマークで保持され、ジェネリックデータとの混合を継続し、GSM8Kの精度はベースラインの$\pm 1$pp以内である。

関連論文リスト

• Emergent alignment and the projectability of ethical personas [39.3098730337656]
  広範かつ狭義の安全タスクについて、有用なのみのモデルを精査する。 2つの狭い安全サブカテゴリの微調整が創発的アライメントを確実に引き起こすことを示す。 我々は、アライメント戦略は、一般的な安全性能だけでなく、プロジェクタビリティの程度でも評価されるべきであると結論付けている。
  論文  参考訳（メタデータ） (2026-06-08T13:30:29Z)
• LLM-Powered Social Digital Twins: A Framework for Simulating Population Behavioral Response to Policy Interventions [0.2787288702904897]
  ソーシャルデジタルツイン(Social Digital Twins)は、大規模言語モデルが個々のエージェントの認知エンジンとして機能する仮想人口レプリカである。 新型コロナウイルスをケーススタディとして、パンデミック対応の領域でこの枠組みをインスタンス化する。 本稿では, 政策シミュレーション, アプローチの限界, パンデミック対応を超えてLLMベースのデジタル双生児を拡大するための方向性について論じる。
  論文  参考訳（メタデータ） (2026-01-03T13:25:33Z)
• Ideology-Based LLMs for Content Moderation [3.8439345751986913]
  大規模言語モデル(LLM)は、コンテンツモデレーションシステムでますます使われている。 本研究では,ペルソナ導入が有害コンテンツ分類の一貫性と公平性にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-10-29T06:22:50Z)
• Fair Deepfake Detectors Can Generalize [51.21167546843708]
  共同設立者(データ分散とモデルキャパシティ)の制御により,公正な介入による一般化が向上することを示す。 この知見を応用して, 逆正当性重み付けとサブグループワイド特徴正規化を併用し, 新たなアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・インセンティブ・インターベンション・インベンション・インテクション(DAID)を提案する。 DAIDは、いくつかの最先端技術と比較して、公平性と一般化の両方において一貫して優れた性能を達成する
  論文  参考訳（メタデータ） (2025-07-03T14:10:02Z)
• Probing the Subtle Ideological Manipulation of Large Language Models [0.3745329282477067]
  大規模言語モデル (LLM) は自然言語処理に変化をもたらしたが、イデオロギー操作への感受性に懸念が持たれている。 本稿では,イデオロギー的QA,ステートメントランキング,マニフェスト・クローゼ完了,議会法案理解などのタスクを通じて,多様なイデオロギー的位置を反映する新しいマルチタスクデータセットを提案する。 以上の結果から,微調整によりニュアンス的なイデオロギー的アライメントが著しく向上する一方,明示的なプロンプトは軽微な改善しか得られないことが示唆された。
  論文  参考訳（メタデータ） (2025-04-19T13:11:50Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Principled Federated Domain Adaptation: Gradient Projection and Auto-Weighting [12.600755361120374]
  Federated Domain Adaptation (FDA)は、限られたデータが利用可能なターゲットクライアントのパフォーマンスを改善するために、ソースクライアントとサーバが協調して動作するフェデレーション学習環境について説明している。 FDA設定を特徴付ける新しい指標と,サーバアグリゲーションルールの性能を解析するための新しい定理を用いた理論的枠組みを導入する。 我々は,ドメインシフトとデータ不足による目標性能を大幅に向上させる,新しい軽量アグリゲーションルールであるFederated Gradient Projection(texttFedGP$)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T04:46:22Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。