論文の概要: A Quantitative Approach to Asch Conformity in Frontier Large Language Models
- arxiv url: http://arxiv.org/abs/2610.36668v1
- Date: Tue, 27 Oct 2026 05:40:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.489978
- Title: A Quantitative Approach to Asch Conformity in Frontier Large Language Models
- Title(参考訳): フロンティア大言語モデルにおけるAsch Conformityの定量的アプローチ
- Abstract要約: 大規模言語モデル(LLM)における整合性の測定方法として,近年,アッシュ整合性実験が注目されている。
私たちの研究はこのアプローチにさらに定量的なレイヤを追加しています。
一連の質問に対してフロンティアLSMをサンプリングする代わりに、我々のアプローチは1つの質問を繰り返しサンプリングする。
- 参考スコア(独自算出の注目度): 5.156484100374057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Asch conformity experiment has recently gained considerable attention as a way of measuring conformity in large language models (LLMs). While previous studies have focused on demonstrating conformity in LLMs, our work adds a further quantitative layer to this approach. Instead of sampling a frontier LLM on a suite of questions, our approach samples a single question repeatedly, leveraging the probabilistic nature of LLMs to produce a distribution of answers. In doing so, we can compare the distributions of answers before and after the model is presented with the manufactured consensus. Our experiments confirm that frontier LLMs do conform, reinforcing prior literature, and, through our distribution-to-distribution comparisons, provide additional quantitative data on the conditions that lead to conformity and the degree to which it occurs.
- Abstract(参考訳): 近年,大規模言語モデル(LLM)における適合性の測定方法として,アッシュ適合性実験が注目されている。
従来の研究はLCMの適合性を示すことに重点を置いていたが、我々の研究はこのアプローチにさらに定量的なレイヤーを加えている。
提案手法では,一組の質問に対してフロンティア LLM をサンプリングする代わりに,LLM の確率的性質を利用して一つの質問を繰り返しサンプリングし,回答の分布を生成する。
そうすることで、モデルが提示される前後の回答の分布を、製造されたコンセンサスで比較することができる。
実験により,フロンティアLSMが適合し,先行文献を補強することを確認した。
関連論文リスト
- Multiple Importance Sampling for Guided Speculative Inference [3.2637270397208824]
本稿では,多様な提案分布の集合からサンプルを集約する重み付け手法を提案する。
我々は、最適の報奨型目標分布と期待される報奨劣化から、KLの分岐に新たな境界を与える。
GSIと1つのよく訓練されたドラフト機を比べると、複数の異なるLCMを組み合わせて同じ数のサンプルを保有し、競争力のあるパス・アット・N$のダウンストリーム性能を維持している。
論文 参考訳(メタデータ) (2026-10-23T23:28:38Z) - Bayesian Model Discovery with Language Models: Closing the Loop between Hypotheses and Experiments [57.451457749854775]
仮説生成と実験設計のループを閉じる新しいタイプの科学的モデル発見手法を開発した。
数値エンジンはモデルファミリーのパラメータに適合し、モデルエビデンスによってそれらを重み付け、予測を平均化する。
次に、家族とそのパラメータよりも期待される情報を最大化し、更新された信念と残留診断をLSMにフィードバックし、次の提案を導くことで、次の実験条件を選択する。
文脈内学習やLLMに基づく科学エージェントよりも低い最終予測誤差を達成しつつ、正確な機能的なフォームをより頻繁に回収し、数値的なフィードバックと共同目的をサポートするアブレーションを達成している。
論文 参考訳(メタデータ) (2026-10-19T03:58:21Z) - Evaluating LLM-Generated Preference Distributions [3.8078514125892333]
大規模言語モデル(LLM)は、シミュレーション、合成データ生成、実世界のデータが利用できない環境での決定サポートのための確率的ジェネレータとして、ますます使われてきている。
そこで我々は, LLMによる航空旅行, レストラン, 消費者製品への嗜好の分布を系統的に分析した。
以上の結果から, 十分な能力を有するLLMが, 調査対象者のスタンドインとして使用する場合に, 類似した嗜好分布を生み出すという共通仮定に挑戦し, モデル選択により, 結果がより影響されることが示唆された。
論文 参考訳(メタデータ) (2026-10-01T03:40:05Z) - Large Language Models Develop Belief State Geometry In-Context [1.6972273159174482]
大規模言語モデル (LLM) は、文脈内学習能力に優れる。
我々はこのような表現を制御された設定で考慮し、隠れマルコフモデルから出力されたデータでLLMを誘導する。
我々は、信念状態が残留ストリームの活性化から線形にデオード可能であることを発見した。
論文 参考訳(メタデータ) (2026-09-15T16:17:59Z) - Recipes for Steering and Scaling LLMs via Sampling [39.9096509342211]
大規模言語モデル(LLM)は確率的モデルであり、通常は自己回帰的分解によって定義される。
本稿では, 自己回帰型LPMをサンプリングで操り, スケーリングするためのフレキシブルで理論的に基礎的なフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-19T07:29:50Z) - Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。
本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
論文 参考訳(メタデータ) (2025-02-03T17:13:03Z) - Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。
提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文 参考訳(メタデータ) (2024-10-07T23:38:58Z) - Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。
評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文 参考訳(メタデータ) (2024-08-20T09:42:26Z) - Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。
本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
論文 参考訳(メタデータ) (2024-04-19T08:52:22Z) - Exposing the Implicit Energy Networks behind Masked Language Models via
Metropolis--Hastings [57.133639209759615]
我々は,エネルギーに基づくシーケンスモデルとしてシーケンスを解釈し,訓練者から導出される2つのエネルギーパラメトリゼーションを提案する。
我々はメトロポリス・ハスティングス・モンテカルロのアルゴリズムに基づく抽出可能なエンフスキームを開発した。
提案手法の有効性を,これらのエネルギーモデルから得られた試料の品質を探索することによって検証する。
論文 参考訳(メタデータ) (2021-06-04T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。