論文の概要: Predicting how model propensities generalize out of distribution

• arxiv url: http://arxiv.org/abs/2610.14937v1
• Date: Sat, 10 Oct 2026 14:10:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.132512
• Title: Predicting how model propensities generalize out of distribution
• Title（参考訳）: モデル確率が分布からどのように一般化するかを予測する
• Abstract要約: 確率のアウト・オブ・ディストリビューションの一般化について検討する。 良性形質の放出は、しばしば望ましくない形質に対して一般化される。 一つの支配的な予測者が出現せず、一般化は予測が難しいままである。
• 参考スコア（独自算出の注目度）: 1.0210993177391718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do language models generalize from their training data? This is a central challenge for alignment: models reliably learn their training distribution given enough samples, but we want models that behave well when deployed in new contexts. We study out-of-distribution (OOD) generalization of propensities. Our central experiment uses a range of elicitation techniques -- system prompting, few-shot learning, SFT on reference answers, and GRPO -- to increase a target propensity in a model, then measures how it spills over onto others across the resulting cross-elicitation matrices. We find that spillover is highly correlated between models when the same elicitation technique is used, but our SFT and GRPO runs induce different spillover profiles. Elicitation of benign traits can sometimes generalize towards undesired traits, for example a model trained to claim that it is sentient often becomes more power-seeking. We further find that spillover partially resembles trait correlations found in humans and identify three clusters of traits that account for about half of the variance using exploratory factor analysis (EFA). Across many elicitation runs, we observe that models change in characteristic ways that don't depend on the targeted trait, a phenomenon we refer to as drift. Drift moves Qwen3.5-9B towards its base model. When investigating if LLMs are able to predict spillover, we find that Claude Opus 5.5 predicts spillover slightly better than the models themselves, but worse than data-driven approaches using alternative elicitation methods or models. Overall, no single dominant predictor emerges, and generalization remains hard to predict. Code and data are available at https://github.com/nielsrolf/propensity-spillover.
• Abstract（参考訳）: トレーニングデータから言語モデルを一般化するにはどうすればよいか? モデルは十分なサンプルを持って、トレーニングディストリビューションを確実に学習するが、新しいコンテキストにデプロイされた時に、うまく振る舞うモデルが欲しい。 本研究では,確率の一般分布(OOD)の一般化について検討する。 私たちの中心的な実験では、システムプロンプト、数発の学習、参照回答のSFT、GRPOといった様々な試行技術を使って、モデル内のターゲットの妥当性を高め、結果のクロスエリケーション行列をまたいでどのように他人にこぼすかを測定しています。 また, 同手法を用いた場合, 流出はモデル間に大きく相関するが, SFT と GRPO は異なる流出プロファイルを誘導する。 良性形質の放出は、しばしば望ましくない形質に対して一般化されることがある、例えば、それが知覚的であると主張するように訓練されたモデルは、より力を求めるようになる。 さらに, 流出は人体に見られる特徴相関に部分的に類似しており, 探索因子分析(EFA)を用いて, 分散の約半分を占める3つの特徴クラスターを同定する。 多くのユークリエーションにおいて、ターゲットとなる特性に依存しない特徴的な方法でモデルが変化するのが観察される。 ドリフトはQwen3.5-9Bをベースモデルに向けて移動させる。 LLMが流出を予測できるかどうかを調べると、Claude Opus 5.5は流出をモデル自体よりもわずかに予測できるが、代替エリケーション手法やモデルを用いたデータ駆動アプローチよりは悪い。 全体として、1つの支配的な予測者が出現せず、一般化は予測が難しいままである。 コードとデータはhttps://github.com/nielsrolf/propensity-spillover.comで公開されている。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks [0.0]
  トレーニングフェーズを通じてニューラルネットワークを誘導する手法を提案する。 従来の勾配降下法を補完する補正勾配を形成する。 ColoredMNIST、Waterbird-100、CelebANISTデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2025-02-26T09:36:00Z)
• Universality in Transfer Learning for Linear Models [18.427215139020625]
  本稿では,回帰モデルと二分分類モデルの両方において,伝達学習と微調整の問題について検討する。 特に,事前訓練した重み付き線形モデル上での勾配降下(SGD)の利用と,目標分布から設定した小さなトレーニングデータセットについて検討する。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement [20.41752850243945]
  統計機械学習手法の主要な前提は、テスト時に遭遇したデータの分布から独立したサンプルにアクセスすることである。 特に、機械学習モデルは、Clever-Hansのような振る舞いを示すことが示されている。 本稿では,人的フィードバックによって達成される内部表現を解消し,生成モデルをデバイアス化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-01T13:16:18Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Generalization and Memorization: The Bias Potential Model [9.975163460952045]
  生成モデルと密度推定器は、関数の学習モデルとは全く異なる振る舞いをする。 バイアスポテンシャルモデルでは、早期停止が採用された場合、次元非依存の一般化精度が達成可能であることを示す。 長期的には、モデルはサンプルを記憶するか、分岐させる。
  論文  参考訳（メタデータ） (2020-11-29T04:04:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。