論文の概要: Group Alignment-Induced Sycophancy: A Two-Sided Evaluation of Steerable Pluralistic Alignment
- arxiv url: http://arxiv.org/abs/2608.11528v1
- Date: Wed, 12 Aug 2026 00:39:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.408144
- Title: Group Alignment-Induced Sycophancy: A Two-Sided Evaluation of Steerable Pluralistic Alignment
- Title(参考訳): グループアライメントによるシクロファンシー:ステアブル多面的アライメントの2次元評価
- Abstract要約: グループアライメントは、言語モデルを人口統計群に適応させ、グループの意見、価値観、嗜好を反映した応答を生成する。
我々は,3つの方法,4つのモデル,13の人口集団間のアライメントを,意見アライメントの意図した利得と意図しないシコファンシーの変化の両面で評価した。
- 参考スコア(独自算出の注目度): 16.312268060195503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group alignment adapts a language model to a demographic group to produce responses that reflect the group's opinions, values, and preferences. Sycophancy, a well-documented by-product of alignment, causes the model to over-agree with the user regardless of factual and objective information. However, existing group alignment methods and evaluations focus only on how closely the model matches the group's opinions, overlooking the induced change in sycophantic behaviour. To bridge this gap, we introduce \textbf{G}roup \textbf{A}lignment-induced \textbf{S}ycophancy (GAS) and systematically evaluate alignment across 3 methods, 4 models and 13 demographic groups, on both the intended gain in opinion alignment and the unintended shift in sycophancy. We find that gain and shift are non-uniform across groups: under an identical budget, some groups receive larger gains in opinion alignment than others, and the induced sycophancy shift forms a group-specific profile rather than a single-dimensional change. These results suggest that group alignment should be reported as a two-sided, multi-dimensional profile rather than a single fit score that accounts for per-group differences when adapting LLMs to diverse populations.
- Abstract(参考訳): グループアライメントは、言語モデルを人口統計群に適応させ、グループの意見、価値観、嗜好を反映した応答を生成する。
シコファンシー(Sycophancy)は、アライメントの文書化された副産物であり、事実や客観的情報に関わらず、モデルがユーザと過剰に理解する原因となる。
しかし、既存のグループアライメント手法と評価は、サイコファンティックな行動の変化を見越して、モデルがグループの意見にどの程度近いかにのみ焦点を当てている。
このギャップを埋めるために,<textbf{G}roup \textbf{A}lignment-induced \textbf{S}ycophancy (GAS)を導入し,3つの方法,4つのモデル,13の人口集団間のアライメントを系統的に評価する。
利得とシフトは、同じ予算の下では、意見アライメントにおいて他のグループよりも大きな利得を得るグループもあり、誘導されたサイコファンシーシフトは、単一の次元の変化ではなく、グループ固有のプロファイルを形成する。
これらの結果から,LLMを多様な個体群に適用する場合の群間差を考慮に入れた単一適合スコアではなく,2面多次元プロファイルとしてグループアライメントを報告すべきであることが示唆された。
関連論文リスト
- APPA: Adaptive Preference Pluralistic Alignment for Fair Federated RLHF of LLMs [2.840505903487544]
本稿では,歴史的アライメントの報酬に基づいてグループレベルの報酬を動的に重み付けする適応的選好多元的アライメントフレームワークAPPAを提案する。
当社のアプローチでは、適切な優先順位データにアクセスすることなく、適切に整列されたグループを分解することなく、整列したグループを優先順位付けする。
論文 参考訳(メタデータ) (2026-04-05T20:48:36Z) - AGA: An adaptive group alignment framework for structured medical cross-modal representation learning [6.558723350038461]
AGA(Adaptive Grouped Alignment)は,2つの医療画像とレポートから構造化セマンティクスをキャプチャする新しいフレームワークである。
AGAはスパース類似性行列に基づく双方向グルーピング機構を導入する。
AGAは、微調整とゼロショットの両方の設定で、画像テキスト検索と分類タスクで高いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-07-31T10:14:49Z) - Group Preference Alignment: Customized LLM Response Generation from In-Situ Conversations [36.29709573877113]
グループ選好アライメントは、ユーザグループ間での会話選好における文脈固有のバリエーションを特定する。
当社のフレームワークは,ユーザの好みに対する出力のアライメントを大幅に改善し,ベースライン手法よりも優れています。
論文 参考訳(メタデータ) (2025-03-11T04:32:54Z) - Group-CLIP Uncertainty Modeling for Group Re-Identification [0.0]
Group ReIDは、重複しないカメラで歩行者のグループをマッチングすることを目的としている。
ほとんどの手法は、群像の特定のグループ構造のみを考慮した、確実性に基づくモデルに依存している。
本稿では,グループテキスト記述をメンバーとレイアウトのバリエーションに適応させるGCUM(Group-CLIP UncertaintyModeling)アプローチを提案する。
論文 参考訳(メタデータ) (2025-02-10T13:41:35Z) - No Preference Left Behind: Group Distributional Preference Optimization [46.98320272443297]
Group Distributional Preference Optimization (GDPO) は、言語モデルをグループ内の好みの分布と整合させる新しいフレームワークである。
GDPOは、グループの信念分布の統計的推定を用いて言語モデルを校正する。
GDPOはトレーニング中にこのアライメントギャップを一貫して削減します。
論文 参考訳(メタデータ) (2024-12-28T23:30:47Z) - A Contrastive Learning Approach to Mitigate Bias in Speech Models [13.192011475857234]
対照的な損失に対して異なるスコープに焦点を合わせることでモデルをガイドする3段階の学習手法を採用している。
2つの音声言語理解データセットと2つの言語を用いた実験は、我々の手法が内部サブグループ表現を改善することを示す。
論文 参考訳(メタデータ) (2024-06-20T19:20:00Z) - A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳(メタデータ) (2024-01-26T14:21:45Z) - HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time
Series Forecasting [56.95572957863576]
本稿では,同じ群を構成する成分間の関係と群間の関係を考察した階層的置換同変モデルを提案する。
実世界のデータを用いた実験により,提案手法が既存の最先端手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-05-14T05:11:52Z) - Differentiated Relevances Embedding for Group-based Referring Expression
Comprehension [57.52186959089885]
表現理解の参照の鍵は、モーダルな視覚言語的関連を捉えることである。
本稿では,グループ内オブジェクト-表現ペアを異なる優先順位で適応的に割り当てるマルチグループ自己評価関連学習スキーマを提案する。
3つの標準RECベンチマーク実験により,本手法の有効性と優位性を示した。
論文 参考訳(メタデータ) (2022-03-12T09:09:48Z) - GroupifyVAE: from Group-based Definition to VAE-based Unsupervised
Representation Disentanglement [91.9003001845855]
他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。
グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。
提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
論文 参考訳(メタデータ) (2021-02-20T09:49:51Z) - Overcoming Data Sparsity in Group Recommendation [52.00998276970403]
グループレコメンデータシステムは、ユーザの個人的な好みだけでなく、嗜好集約戦略も正確に学習できなければならない。
本稿では,BGEM(Bipartite Graphding Model)とGCN(Graph Convolutional Networks)を基本構造として,グループとユーザ表現を統一的に学習する。
論文 参考訳(メタデータ) (2020-10-02T07:11:19Z) - Mitigating Face Recognition Bias via Group Adaptive Classifier [53.15616844833305]
この研究は、全てのグループの顔がより平等に表現できる公正な顔表現を学ぶことを目的としている。
我々の研究は、競争精度を維持しながら、人口集団間での顔認識バイアスを軽減することができる。
論文 参考訳(メタデータ) (2020-06-13T06:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。