論文の概要: Language-model groups overstate consensus when replaying human deliberation on a reasoning task
- arxiv url: http://arxiv.org/abs/2609.20543v1
- Date: Thu, 17 Sep 2026 15:11:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.336929
- Title: Language-model groups overstate consensus when replaying human deliberation on a reasoning task
- Title（参考訳）: 推論課題における人間の熟考を再現する場合の言語モデルグループによる合意の超過
- Abstract要約: 完全な合意率はしばしば集団認知の指標として扱われるが、参加と最終状態がどのように運用されるかによって異なる。
一致した大言語モデル (LLM) エージェント群を用いて, 100個のホールドアウトヒトワトソン群を再生した。
シミュレートされたコンセンサスは、集団的正確さを追跡せず、信念に基づくエージェント群は、ヒト集団のアウトカム分布の偏りを推定した。
- 参考スコア（独自算出の注目度）: 1.3537117504260623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Full-consensus rates are often treated as indicators of collective cognition, yet depend on how participation and final states are operationalized. We replayed 100 held-out human Wason groups with matched large language model (LLM) agent groups, seeding one belief-anchored agent per participant's pre-discussion answer and scoring agents and people with the same code. Across human scoring definitions, estimates ranged from 24.0% to 57.0%; about one fifth of participants never posted, whereas agents almost always did. Agent groups remained more consensual in two post-unblinding sensitivity analyses: the submit-based comparison (n = 98) yielded gaps of 34.0 and 43.9 percentage points for chat and reasoning modes, and the participation-matched comparison (n = 45) yielded gaps of 34.1 and 44.4 points. These complementary routes reduced different measurement asymmetries yet converged within 0.5 percentage points. The gap persisted without early stopping and under a reparameterization removing the memorizable answer; reasoning-mode groups then agreed nearly unanimously, mostly on incorrect answers. Simulated consensus did not track collective accuracy, and belief-anchored agent groups were biased estimators of the human group-outcome distribution in this setting. These analyses provide a scoring-explicit basis for assessing simulated-group estimates of human deliberative outcomes.
- Abstract（参考訳）: 完全な合意率はしばしば集団認知の指標として扱われるが、参加と最終状態がどのように運用されるかによって異なる。
我々は,一致した大言語モデル (LLM) エージェント群を用いて,100名のヒト・ワトソングループをリプレイし,被験者の先入観応答毎に1人の信念順応エージェントをシードし,同一のコードを持つエージェントと人をスコアリングした。
人間のスコアリングの定義全体では、見積もりは24.0%から57.0%までで、参加者の約5分の1は投稿されなかった。
エージェントグループは2つの公開後感度分析においてより合意的であり、提出ベース比較(n = 98)はチャットと推論モードで34.0と43.9のパーセンテージのギャップ、参加マッチング比較(n = 45)は34.1と44.4のギャップを得た。
これらの相補経路は、0.5ポイント以内で収束した異なる測定非対称性を減少させた。
差は早期に止まることなく持続し, 記憶可能な解答を除去し, 理化モード群はほぼ全一致で一致した。
シミュレートされたコンセンサスは、集団的正確さを追跡せず、信念に基づくエージェント群は、この設定におけるヒト集団のアウトカム分布の偏りを推定した。
これらの分析は、人間の熟考結果のシミュレーショングループ推定を評価するためのスコア-明示的基礎を提供する。
関連論文リスト
- Evaluating Model Retraining under Drift: Paired Comparisons of Cumulative Subgroup Disparity [0.0]
我々は、スケジュール、損失トリガー、サブグループギャップトリガーされたポリシーを、同じ観測と遅延ラベルに対する初期モデルを維持することで比較する。
これら3つの政策は平均累積差が低く、ウィンドウごとの平均ギャップにおける0.04から0.88ポイントの減少に相当する。
サブグループ特異的なドリフトでは, 両者の感度が低下し, より小さな真正レートギャップが認められた。
論文 参考訳（メタデータ） (2026-09-09T06:39:03Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - Human-like in-group bias in instruction-tuned language model agents [0.33842793760651557]
命令調整言語モデルの特性としてのグループコンテンツターゲティング。
相互作用ごとのターゲティングは、永続的ネットワークにおける構造的不平等へと伝播する。
論文 参考訳（メタデータ） (2026-05-27T08:06:50Z) - Socio-Conformal Calibration in Complex Survey Data: Marginal Validity Is Not Enough for Subgroup Reliability [1.089614199781423]
我々は,Pew American Trends Panel上での5段階のAI態度予測の順序性予測について検討した。
標準コンフォメーションは4つのベース予測器全てに対して名目上の限界範囲を達成しているが、重み付けされたサブグループギャップは13ポイントである。
最強の予測者(XGBoost)にとって、モンドリアンは公平性と効率性のトレードオフを悪化させる。
グループしきい値を大域量子化に向けて縮小する正規化コンパレータは、この不安定性を緩和する。
論文 参考訳（メタデータ） (2026-05-07T01:10:48Z) - Preserving Disagreement: Architectural Heterogeneity and Coherence Validation in Multi-Agent Policy Simulation [0.0]
政策シミュレーションにおいて,大規模言語モデル(LLM)を用いたマルチエージェント検討システムの提案が進んでいる。
評価エージェントは、割り当てられた値の観点に関わらず、同じ選択肢に収束する。
我々は、三段階の審議フレームワークであるAI Councilを提示し、2つの介入をテストするための2つの政策シナリオにわたる120の審議を行う。
論文 参考訳（メタデータ） (2026-04-29T11:47:28Z) - Wisdom of Crowds Through Myopic Self-Confidence Adaptation [1.1060425537315088]
群衆の知恵は、集団の集団的判断や決定が集団メンバーの個人的判断や決定よりも正確であることを示す現象の包括的用語である。
本稿では,まず,世界の共通状態を非相関的かつ非バイアス的に測定するエージェントのグループについて考察する。
これらのエージェントは、フレンチ・デグルート力学(英語版)または反復的な意見プール(英語版)として社会学でよく知られる単純な非ベイズ学習規則に従って、見積もりを反復的に更新する。
論文 参考訳（メタデータ） (2025-06-22T22:55:17Z) - Understanding challenges to the interpretation of disaggregated evaluations of algorithmic fairness [49.35494016290887]
関係する人口を表わすが、実世界の格差を反映するデータである場合、サブグループ間での平等なパフォーマンスは、信頼できない公平さの尺度であることを示す。
本フレームワークでは, 因果関係の明示的な仮定と分析を相補して, 相反や分布変化の制御を提案する。
論文 参考訳（メタデータ） (2025-06-04T17:40:31Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳（メタデータ） (2023-08-09T07:51:40Z) - Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous
Pronouns [53.62845317039185]
バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。
本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。
事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
論文 参考訳（メタデータ） (2023-02-11T12:11:03Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳（メタデータ） (2022-07-19T12:52:33Z) - Spatio-Temporal Graph Representation Learning for Fraudster Group
Detection [50.779498955162644]
企業は、偽レビューを書くために詐欺師グループを雇い、競合相手をデモしたり、自分のビジネスを宣伝したりすることができる。
そのようなグループを検出するには、詐欺師グループの静的ネットワークを表現するのが一般的なモデルである。
両レビュアーの表現学習におけるHIN-RNNの有効性を第一に活用することを提案する。
論文 参考訳（メタデータ） (2022-01-07T08:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。