論文の概要: How Far Do Persona Effects Generalize in Language Models?
- arxiv url: http://arxiv.org/abs/2609.32758v1
- Date: Sat, 26 Sep 2026 16:26:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 20:40:55.712615
- Title: How Far Do Persona Effects Generalize in Language Models?
- Title(参考訳): 言語モデルにおけるペルソナの影響はどこまで一般化するか?
- Abstract要約: ペルソナは特定の種類の人々の答えを言語モデルに求める。
これらの効果から得られた関係が、新しい質問に対する反応を予測し、モデルやプロンプトで有用かどうかを検証する。
- 参考スコア(独自算出の注目度): 21.279374648591318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Persona prompts ask language models to answer as particular kinds of people. We test whether relationships learned from these effects predict responses to new questions and remain useful across models and prompts. Across 57 attributes, three behavioral domains, and seven pairs of open 7 to 9B checkpoints, persona effects can be predictable without being portable. Separate attribute and task gains improve prediction beyond shared scaling significantly in OLMo-3 and Qwen2.5, with the most robust evidence in OLMo-3. In that model, target refitting significantly outperforms gains borrowed from each of the other six pairs. Across model transfers, borrowed gains with one amplitude underperform shared scaling in most directions; allowing two target parameters removes the significant losses but yields no significant benefit over target shared scaling. After rewording, refitting significantly outperforms reuse with one amplitude in all six tested pairs, while changes of examples or country context often preserve reuse value. In the tested prompt transfers, regularized updates outperform both reuse strategies in median at 64 target questions per attribute. A separate survey comparison finds that selecting the more responsive checkpoint can worsen human fit; responsiveness is confounded with training status, and temperature calibration largely removes this cost but not errors in group ordering. Within the tested gain representation, apparent transfer can come from target calibration; source relationships must add predictive value beyond calibration and regularization. Code and data are available at https://github.com/thzva/persona-gain
- Abstract(参考訳): ペルソナは特定の種類の人々の答えを言語モデルに求める。
これらの効果から得られた関係が、新しい質問に対する反応を予測し、モデルやプロンプトで有用かどうかを検証する。
57の属性、3つの行動ドメイン、7対のオープン7〜9Bチェックポイント、ペルソナ効果はポータブルにすることなく予測可能である。
OLMo-3とQwen2.5の2つの属性とタスクの利得は、OLMo-3とQwen2.5の共有スケーリングを超える予測を著しく改善する。
このモデルでは、ターゲットのリフィットは、他の6つのペアから借りた利得を大きく上回っている。
モデル転送全体では、1つの振幅の共有スケーリングがほとんどの方向で過小評価され、2つのターゲットパラメータが大きな損失を除去できるが、ターゲットの共有スケーリングよりも大きな利益をもたらすことはない。
リワード後、リフィットは6つのテストペアすべてで1つの振幅で再利用を著しく上回る。
テストされたプロンプト転送では、正規化された更新は、両方の再利用戦略を、属性毎に64のターゲット質問で中央値で上回っている。
別の調査比較では、より応答性の高いチェックポイントを選択すると人間の適合性が悪化し、応答性はトレーニングステータスと組み合わせられ、温度校正によってこのコストが大幅に削減されるが、グループオーダのエラーは発生しない。
テストされたゲイン表現の中では、明確な転送はターゲットキャリブレーションから得ることができ、ソース関係はキャリブレーションと正規化を超えて予測値を付加する必要がある。
コードとデータはhttps://github.com/thzva/persona-gainで入手できる。
関連論文リスト
- AmbiModBench: Benchmarking Gene Perturbation Prediction Beyond Shared Responses [48.72528617189033]
遺伝的摂動に対する細胞応答の予測は、単細胞ゲノム学における実験の優先順位付けに役立つ。
本稿では,AmbiModBenchを提案する。
論文 参考訳(メタデータ) (2026-09-26T12:10:35Z) - Not All Variables Agree: Reliability-Aware Variable-Wise Gradient Surgery for Multivariate Time-Series Forecasting [9.878279973302135]
変数ワイズ勾配を直接測定し、そのペアワイズ類似度の30.6%が7つのデータセットの平均で負であることが分かる。
共有トレーニングでは、64変数のうち35変数は、フルインプットの単一ターゲットオラクルよりも悪い。
キャッシュ互換層を有するバックボーンに対するPV-Surgery(Per-Variable Surgery)を提案する。
論文 参考訳(メタデータ) (2026-09-08T10:38:13Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳(メタデータ) (2023-06-19T18:48:15Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。
AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。
誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
論文 参考訳(メタデータ) (2022-09-22T04:32:51Z) - Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。
人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。
能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文 参考訳(メタデータ) (2022-03-14T20:13:21Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。