論文の概要: Many Minds from One Model: Bayesian Transformers for Population Intelligence
- arxiv url: http://arxiv.org/abs/2512.25063v1
- Date: Wed, 31 Dec 2025 18:56:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.748154
- Title: Many Minds from One Model: Bayesian Transformers for Population Intelligence
- Title（参考訳）: 一モデルからの多くの心:人口知能のためのベイズ変換器
- Authors: Diji Yang, Yi Zhang,
- Abstract要約: 本稿では,B-Trans(Polyulation Bayesian Transformer)を提案し,B-Trans(Polyulation Bayesian Transformer)モデルに変換する。
B-Transは、トレーニング済みの1セットの重みから多様だがコヒーレントなモデルインスタンスのサンプリングをサポートする。
実験により、B-Transは群衆の知恵を効果的に活用し、より良いタスク性能を達成しつつ、より優れたセマンティック多様性をもたらすことが示された。
- 参考スコア（独自算出の注目度）: 6.675008419230873
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their scale and success, modern transformers are almost universally trained as single-minded systems: optimization produces one deterministic set of parameters, representing a single functional hypothesis about the data. Motivated by the idea that intelligence emerge from many minds, we propose Population Bayesian Transformers (B-Trans), which transform a standard Large Language Model into a Bayesian Transformer model to supports sampling diverse yet coherent model instances from a single set of pre-trained weights. B-Trans introduces a Bayesian-motivated posterior proxy by treating the bias-like offsets in normalization layers as stochastic variables with a Gaussian variational approximation, inducing a distribution over model behavior without the cost of training full Bayesian neural networks. Sampling from this proxy yields a set of model instances with diverse behaviors while maintaining general competence. To preserve coherence within each generation, we freeze the sampled noise at the sequence level, enforcing temporal consistency across tokens. B-Trans allows for population-level decision-making, where aggregating predictions across sampled individuals significantly enhances exploration. Experiments across zero-shot generation, Reinforcement Learning with Verifiable Rewards (RLVR), and RL without explicit labels demonstrate that B-Trans effectively leverage the wisdom of crowds, yielding superior semantic diversity while achieving better task performance compared to deterministic baselines.
- Abstract（参考訳）: その規模と成功にもかかわらず、現代のトランスフォーマーはほぼ普遍的にシングルマインドシステムとして訓練されており、最適化は1つの決定論的パラメータセットを生成し、データに関する単一の機能仮説を表現している。
インテリジェンスは多くの心から生まれるという考えに触発され、標準大言語モデルをベイズ変圧器モデルに変換するポピュレーションベイズ変圧器(B-Trans)を提案し、一組の事前学習重みから多種多様なコヒーレントモデルインスタンスのサンプリングを支援する。
B-Transは、正規化層におけるバイアスのようなオフセットをガウス変分近似を用いて確率変数として扱い、完全なベイズニューラルネットワークを訓練するコストを伴わずにモデル行動の分布を誘導することによって、ベイズに動機づけられた後続プロキシを導入する。
このプロキシからサンプリングすると、一般的な能力を維持しながら、さまざまな振る舞いを持つモデルインスタンスのセットが得られる。
各世代におけるコヒーレンスを維持するため、サンプルノイズをシーケンスレベルで凍結し、トークン間の時間的一貫性を強制する。
B-Transは集団レベルでの意思決定を可能にする。
ゼロショット生成、RLVR(Reinforcement Learning with Verifiable Rewards)、RL(Reinforcement Learning with Verifiable Rewards)など、明示的なラベルのない実験では、B-Transが群衆の知恵を効果的に活用し、決定論的ベースラインよりも優れたタスクパフォーマンスを達成しつつ、セマンティックな多様性を得ることを示した。
関連論文リスト
- Measuring training variability from stochastic optimization using robust nonparametric testing [5.519968037738177]
本稿では,モデル類似度を測定するために,ロバストな仮説テストフレームワークと,新たな要約統計量である$alpha$-trimmingレベルを提案する。
仮説を$alpha$-trimmingレベルで直接適用することは、null仮説の下で分布を正確に記述できないため、難しい。
モデル変数の測定に$alpha$-trimmingレベルを使用する方法を示し、パフォーマンス指標よりも表現力が高いことを実験的に実証する。
論文 参考訳（メタデータ） (2024-06-12T15:08:15Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - Neural Spline Search for Quantile Probabilistic Modeling [35.914279831992964]
パラメトリックな仮定を伴わない観測データ分布を表現するために,非パラメトリックかつデータ駆動型手法であるニューラルスプラインサーチ(NSS)を提案する。
我々は,NASが,合成,実世界の回帰,時系列予測タスクにおいて,従来の手法よりも優れていたことを実証した。
論文 参考訳（メタデータ） (2023-01-12T07:45:28Z) - Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳（メタデータ） (2022-10-27T15:30:52Z) - Diverse Human Motion Prediction via Gumbel-Softmax Sampling from an
Auxiliary Space [34.83587750498361]
多様な人間の動き予測は、観測されたポーズのシーケンスから、複数の将来のポーズシーケンスを予測することを目的としている。
従来のアプローチでは、通常、データの条件分布をモデル化するために深い生成ネットワークを使用し、その後、分布からランダムにサンプル結果を得る。
不均衡なマルチモーダル分布から非常に多様な結果をサンプリングするための新しいサンプリング手法を提案する。
論文 参考訳（メタデータ） (2022-07-15T09:03:57Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳（メタデータ） (2022-03-14T04:26:40Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳（メタデータ） (2021-11-10T07:07:54Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z) - Relaxed-Responsibility Hierarchical Discrete VAEs [3.976291254896486]
textitRelaxed-Responsibility Vector-Quantisationを導入する。
我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
論文 参考訳（メタデータ） (2020-07-14T19:10:05Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。