論文の概要: Locating and Controlling Implicit Personalization in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.11735v1
• Date: Wed, 12 Aug 2026 07:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.488297
• Title: Locating and Controlling Implicit Personalization in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける意図しないパーソナライゼーションの配置と制御
• Abstract要約: 局所的な内的アクティベーション信号はレコメンデーションの変化を追跡でき、相関は r=0.87 となる。 一つのキューに関連付けられた内部信号を削除することで、その影響を抑えることができ、多くの場合、モデルにプロンプトを通じて人口統計を無視するよう求めるよりも効果的であることを示す。 これらの結果は、暗黙のパーソナライズ行動と、分析と因果制御が可能な内部信号とを結びつける。
• 参考スコア（独自算出の注目度）: 13.786400660073065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often shift their outputs in response to implicit demographic cues even when users never state a demographic identity. Previous work has documented this behavior, but the connection between these behavioral changes and the model's internal activations remains unclear. Using matched cued and neutral conversations across five LLMs, we establish that a localized internal activation signal tracks changes in recommendations, with correlations up to r=0.87. When multiple cues appear together, their internal signals largely combine, but the changes in output do not simply add up. We further show that removing the internal signal associated with one cue can suppress its influence, often more effectively than asking the model to ignore demographics via prompting, while largely preserving general benchmark performance. However, the ability to selectively remove one dimension's influence while leaving co-present dimensions intact remains highly model- and attribute-specific. These results connect implicit personalization behavior to an internal signal that can be analyzed and causally controlled.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザが人口統計のアイデンティティを記述していない場合でも、暗黙の人口統計の手がかりに反応して出力をシフトすることが多い。 これまでの研究はこの振る舞いを文書化してきたが、これらの振る舞いの変化とモデルの内部のアクティベーションの関連性はまだ不明である。 5つのLDM間で一致したキューと中立な会話を用いて、局所的な内部活性化信号がレコメンデーションの変化を追跡し、r=0.87まで相関することを示す。 複数のキューが一緒に現れると、内部信号は概ね結合するが、出力の変化は単に増加しない。 さらに、あるキューに関連する内部信号を削除することで、その影響を抑えることができることを示す。 しかし、共表現次元をそのまま残しながら、ある次元の影響を選択的に除去する能力は、モデルや属性に特有なままである。 これらの結果は、暗黙のパーソナライズ行動と、分析と因果制御が可能な内部信号とを結びつける。

関連論文リスト

• A Low-Rank Subspace Analysis of LLM Interventions [21.607167713433622]
  LLMの特定の振る舞いを変更するために設計された介入は、しばしば意図しない他の振る舞いの変化を引き起こす。 この目標制御の欠如は、信頼性の高い安全制御の設計と実装を困難にしている。 我々は、アクティベーション空間における低ランクな部分空間として振舞いをモデル化し、介入が行動全体にどのように影響するかを研究する。
  論文  参考訳（メタデータ） (2026-06-12T12:24:25Z)
• Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
  フル音声言語モデル(FDSLM)における予測行動の解析 FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。 ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
  論文  参考訳（メタデータ） (2026-06-09T19:08:07Z)
• Consistency Training while Mitigating Obfuscation via Rate Matching [6.354949885860511]
  大規模な言語モデルはしばしば、ユーザの好みの回答を明らかにするなど、外部の入力機能の影響を受けます。 既存のメソッドは、応答全体や内部のアクティベーションに対する一貫性をトレーニングします。 このことが難読化につながることを示しているが、そこではモデルがキューに言及しないように学習し、その影響で監視性が損なわれる可能性がある。 本稿では,この動作の表現方法に制約を加えることなく,選択した動作特性に対する一貫性をトレーニングするRMCT(Rate Matching Consistency Training)を紹介する。
  論文  参考訳（メタデータ） (2026-06-01T13:10:49Z)
• Fair outputs, Biased Internals: Causal Potency and Asymmetry of Latent Bias in LLMs for High-Stakes Decisions [0.0]
  本稿では,人種的関係の異なるアプリケーションを用いて,オープンウェイトモデルを用いた住宅ローン引受について検討する。 モデルでは, 出力レベルの偏りは見られず, モデル層全体にわたる人口動態の表現を保ち, 増幅している。 アクティベーションステアリングと新しい層間干渉により、この抑圧された情報が決定に関連があることを実証する。
  論文  参考訳（メタデータ） (2026-05-12T12:14:58Z)
• From Packets to Patterns: Interpreting Encrypted Network Traffic as Longitudinal Behavioral Signals [2.8540604709894972]
  我々は、暗号化されたスマートフォンネットワークトラフィックが、睡眠、ストレス、孤独に関連する行動パターンを受動的にキャプチャできるかどうかをテストする。 ユーザ毎のアダプタを用いたトランスフォーマーバックボーンを用いて,行動構造をモデル化する。 異なる行動パターンに対応する行動特徴を抽出するために,スパースオートエンコーダを適用した。
  論文  参考訳（メタデータ） (2026-05-02T21:40:07Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• User Hesitation and Negative Transfer in Multi-Behavior Recommendation [55.78729938627577]
  HNTと呼ばれる弱信号学習に焦点を当てた推薦フレームワークを提案する。 標的行動につながる補助行動の特徴を学習することにより、HNTは標的行動を引き起こすことのない類似の補助行動を特定する。 3つの実世界のデータセットの実験では、HNTはHR@10とNDCG@10をそれぞれ12.57%、14.37%改善している。
  論文  参考訳（メタデータ） (2025-11-08T02:45:32Z)
• CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction [42.92011330807996]
  $textitCTR-Sink$は、レコメンデーションシナリオに適した振る舞いレベルの注意シンクを導入した、新しいフレームワークである。 注意シンク理論にヒントを得て、注意集中シンクを構築し、外部情報を介して注意集約を動的に制御する。
  論文  参考訳（メタデータ） (2025-08-05T17:30:34Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering [26.428347164111926]
  推論時ステアリングは、パラメータを変更することなく、大きな言語モデルの応答を変更することを目的としている。 既存のアプローチはしばしば単純化的なキューやアドホックな一般化に依存している。 本稿では,Transformerモデルにおける振る舞い関連モジュールを識別するフレームワークであるREALを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T02:16:50Z)
• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation [102.24108167002252]
  本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。 提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-30T03:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。