論文の概要: CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters
- arxiv url: http://arxiv.org/abs/2601.04885v1
- Date: Thu, 08 Jan 2026 12:30:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:53.198986
- Title: CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters
- Title(参考訳): CuMA:アダプタのデモグラフィック・アウェア・ミキシングによる低文化価値のLCMの調整
- Authors: Ao Sun, Xiaoyu Wang, Zhe Tan, Yu Li, Jiachen Zhu, Shu Su, Yuheng Jia,
- Abstract要約: textbftextscCuMA(textbfCultural textbfMixture of textbfAdapters)は、textbf条件のキャパシティ分離問題としてアライメントをフレーム化するフレームワークである。
textscCuMAは最先端のパフォーマンスを実現し、密度の高いベースラインとセマンティックのみのMoEを著しく上回っている。
- 参考スコア(独自算出の注目度): 32.79229893940699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Large Language Models (LLMs) serve a global audience, alignment must transition from enforcing universal consensus to respecting cultural pluralism. We demonstrate that dense models, when forced to fit conflicting value distributions, suffer from \textbf{Mean Collapse}, converging to a generic average that fails to represent diverse groups. We attribute this to \textbf{Cultural Sparsity}, where gradient interference prevents dense parameters from spanning distinct cultural modes. To resolve this, we propose \textbf{\textsc{CuMA}} (\textbf{Cu}ltural \textbf{M}ixture of \textbf{A}dapters), a framework that frames alignment as a \textbf{conditional capacity separation} problem. By incorporating demographic-aware routing, \textsc{CuMA} internalizes a \textit{Latent Cultural Topology} to explicitly disentangle conflicting gradients into specialized expert subspaces. Extensive evaluations on WorldValuesBench, Community Alignment, and PRISM demonstrate that \textsc{CuMA} achieves state-of-the-art performance, significantly outperforming both dense baselines and semantic-only MoEs. Crucially, our analysis confirms that \textsc{CuMA} effectively mitigates mean collapse, preserving cultural diversity. Our code is available at https://github.com/Throll/CuMA.
- Abstract(参考訳): LLM(Large Language Models)がグローバルなオーディエンスを提供するため、アライメントは普遍的なコンセンサスを強制することから、文化的多元主義を尊重することに移行する必要がある。
矛盾する値分布に適合せざるを得ないような高密度モデルでは, 多様な群を表現できない一般平均に収束する, textbf{Mean Collapse} に苦しむことを示した。
我々はこれを、勾配干渉が文化的な異なるモードにまたがる高密度なパラメータを阻止する「textbf{Cultural Sparsity}」に帰着する。
そこで本研究では,それを解決するためのフレームワークである \textbf{\textsc{CuMA}} (\textbf{Cu}ltural \textbf{M}ixture of \textbf{A}dapters) を提案する。
人口統計を意識したルーティングを組み込むことで、 \textsc{CuMA} は \textit{Latent Cultural Topology} を内部化し、対立する勾配を専門の専門のサブ空間に明示的に分散させる。
WorldValuesBench、Community Alignment、PRISMの広範囲な評価は、 \textsc{CuMA}が最先端のパフォーマンスを達成し、密度の高いベースラインとセマンティックのみのMoEを著しく上回っていることを示している。
重要な点として,<textsc{CuMA} が平均崩壊を効果的に緩和し,文化的多様性を保っていることを確認した。
私たちのコードはhttps://github.com/Throll/CuMA.comで利用可能です。
関連論文リスト
- CIEC: Coupling Implicit and Explicit Cues for Multimodal Weakly Supervised Manipulation Localization [25.78477436147408]
Implicit と Explicit Cues (CIEC) の結合は、画像とテキストのペアに対するマルチモーダルな弱い教師付き操作のローカライゼーションを実現することを目的としている。
視覚とテキストの両方の観点から偽造の手がかりを統合し、空間的先行によって助けられた疑わしい領域にロックする。
後者では、意味のあるコンテンツワードに焦点を当て、相対的な視覚バイアスを利用してトークンのローカライゼーションを支援する。
論文 参考訳(メタデータ) (2026-02-02T14:46:38Z) - Modeling Cultural Bias in Facial Expression Recognition with Adaptive Agents [4.898540110561119]
エージェントベースのストリーミングベンチマークを導入し、異文化間合成とプログレッシブなぼかしが顔認識の堅牢性にどのように作用するかを明らかにする。
単文化集団(西欧のみ,アジアのみ)と混在環境のバランス(5/5)と不均衡(8/2, 2/8)と空間接触構造の違いについて検討した。
JAFFE(アジア)の人口は低いぼやけでは高い性能を維持しているが、中間段階ではより急激な低下を示す。
混合集団は中間パターンを示し、バランスの取れた混合は早期劣化を緩和するが、不均衡な設定は多数派弱点を増幅する
論文 参考訳(メタデータ) (2025-10-15T13:53:30Z) - The Alignment Bottleneck [0.0]
ループを2段階のカスケード$U to H to Y$ given$S$、認知能力$C_textcog|S$、平均総容量$barC_texttot|S$としてモデル化する。
これは、分離可能なコードブックと、KL項が$m, barC_texttot|S$で同じチャネルで制御されるPAC-Bayes上界とで証明されたデータサイズ非依存のファノ下界をペアする。
論文 参考訳(メタデータ) (2025-09-19T12:38:30Z) - Harnessing Group-Oriented Consistency Constraints for Semi-Supervised Semantic Segmentation in CdZnTe Semiconductors [71.44213719783703]
ICAF(Intra-group Consistency Augmentation Framework)は、CdZnTe(Cadmium Zinc Telluride)半導体画像にラベルを付けるために開発された。
ICAF は View Augmentation Module (VAM) と View Correction Module (VCM) の2つの重要なモジュールで構成されている。
ICAFは、CdZnTeデータセット上の70.6% mIoUを2つのグループアノテートデータのみを用いて達成する。
論文 参考訳(メタデータ) (2025-08-18T09:40:36Z) - VLM-R$^3$: Region Recognition, Reasoning, and Refinement for Enhanced Multimodal Chain-of-Thought [51.43082554363725]
textbfVLM-R$3$ (textbfVisual textbfLanguage textbfModel with textbfRegion textbfRecognition and textbfReasoning) はMLLMに付加的な視覚的証拠が必要な場合にエフェクトを決定する機能を提供するフレームワークである。
MathVista、ScienceQA、その他のベンチマークの実験は、VLM-R$3$が新しいものを設定することを示している
論文 参考訳(メタデータ) (2025-05-22T03:50:13Z) - Denoising and Alignment: Rethinking Domain Generalization for Multimodal Face Anti-Spoofing [47.24147617685829]
Face Anti-Spoofing (FAS) は、多様なシナリオにおける顔認識システムのセキュリティに不可欠である。
我々はtextbfMultitextbfmodal textbfDenoising と textbfAlignment (textbfMMDA) フレームワークを紹介する。
CLIPのゼロショット一般化機能を活用することで、MMDAフレームワークはマルチモーダルデータのノイズを効果的に抑制する。
論文 参考訳(メタデータ) (2025-05-14T15:36:44Z) - Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。
提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。
実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
論文 参考訳(メタデータ) (2024-10-24T13:41:32Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳(メタデータ) (2024-05-15T00:17:48Z) - Coupling Global Context and Local Contents for Weakly-Supervised
Semantic Segmentation [54.419401869108846]
Weakly Supervised Semantic (WSSS)モデルを提案する。
グローバルなオブジェクトコンテキストを異なる粒度空間でキャプチャするために,フレキシブルなコンテキストアグリゲーションモジュールを提案する。
局所的な細粒度を集約するために、ボトムアップパラメータ学習可能な方法で意味的に一貫した特徴融合モジュールを提案する。
論文 参考訳(メタデータ) (2023-04-18T15:29:23Z) - Retiring $\Delta$DP: New Distribution-Level Metrics for Demographic
Parity [47.78843764957511]
デルタDP$のフェアネス指標は、人口格差の違反を正確に測定することはできない。
確率密度関数曲線(ABPC)と累積密度関数曲線(ABCC)の2つの新しいフェアネス指標を提案する。
提案手法では, ABCC/ABPCがゼロ値であること, ABCC/ABPCがゼロ値であること, ABCC/ABPCが階層パリティを保証し, 分類しきい値の調整を行う。
論文 参考訳(メタデータ) (2023-01-31T06:43:55Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Max-Margin Works while Large Margin Fails: Generalization without
Uniform Convergence [55.26547500184405]
既存のツールでは、テストの損失がトレーニングの損失に近いことを保証し、候補モデルのクラスを均一に制御するエム統一コンバージェンス(UC)に依存している。
Nagarajan と Kolter は、ある単純な線形および神経ネットワークの設定において、任意の一様収束境界は空であり、UC が失敗する環境での一般化の証明方法に関する疑問を解き放つことを示している。
我々は、ある信号対雑音のしきい値を超えると、これらの2つの設定でほぼテスト損失が得られないことを示す新しいタイプのマージン境界を証明した。
論文 参考訳(メタデータ) (2022-06-16T02:46:26Z) - Unsupervised Semantic Segmentation by Distilling Feature Correspondences [94.73675308961944]
教師なしセマンティックセグメンテーション(unsupervised semantic segmentation)は、アノテーションなしで画像コーパス内の意味論的意味のあるカテゴリを発見し、ローカライズすることを目的としている。
STEGOは、教師なし特徴を高品質な個別のセマンティックラベルに蒸留する新しいフレームワークである。
STEGOは、CocoStuffとCityscapesの両課題において、先行技術よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-03-16T06:08:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。