論文の概要: Small Open-Weight Language Models for Crowd Decision-Making: Capabilities and Limits of Output-Level Fusion and Linguistic Aggregation
- arxiv url: http://arxiv.org/abs/2611.17589v1
- Date: Thu, 12 Nov 2026 23:15:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.276933
- Title: Small Open-Weight Language Models for Crowd Decision-Making: Capabilities and Limits of Output-Level Fusion and Linguistic Aggregation
- Title(参考訳): 集団意思決定のための小さなオープンウェイト言語モデル:出力レベル融合と言語集約の能力と限界
- Abstract要約: 小さなオープンウェイト言語モデルは、機関のインフラ上で群衆決定(CDM)を実行することができる。
5つのオープンウェイトモデルは、ロンドンの4つのレストランの474のTripAdvisorレビューを10回ずつ分類している。
3つのオープンウェイトモデルが、マドリードの12のレストランの600のレビューでプロトコルを繰り返す。
- 参考スコア(独自算出の注目度): 2.8053983420034547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Small open-weight language models can run crowd decision-making (CDM) on an institution's own infrastructure, which keeps the checkpoint, the inference settings and the opinions under its control. Their judgements vary across repeated queries; whether repeating and aggregating them, often through the 2-tuple linguistic representation, settles the decision rather than the labels is untested. Five open-weight models of 8-36B total parameters on one consumer GPU and a hosted reference classify 474 TripAdvisor reviews of four London restaurants ten times each; three open-weight models repeat the protocol on 600 reviews of twelve Madrid restaurants. Continuous evaluations preserve resolution: snapping each review leaves 5 distinct values against 21-65, and snapping at every level at most two collective values. Sensitivity to the participants persists once run-to-run variability is reduced: in London, redrawing the reviewers keeps the winner on 47-81% of replicas against 86-100% for redrawing the runs. With simultaneous intervals over every pair of alternatives under crowd resampling, no system on either corpus names a single winner: in London every system keeps all four restaurants as candidates, and in Madrid the candidate sets hold five to eight of the twelve. Extra runs and output-level fusion stabilize the winner but do not remove that sensitivity, and the fusion does not beat its best member. The three larger open-weight models name the hosted reference's London winner and at least match its per-review correlation with the reviewers' stars, so small open-weight models can support local CDM, reported as candidate sets with margins rather than forced rankings.
- Abstract(参考訳): 小さなオープンウェイト言語モデルは、機関のインフラ上で群衆決定(CDM)を実行することができ、チェックポイント、推論設定、意見をその管理下に保持する。
彼らの判断は繰り返されるクエリによって異なり、しばしば2タプルの言語表現を通して繰り返して集約しても、ラベルではなく決定を確定する。
5つのオープンウェイトモデル、8-36Bの合計パラメータを1つのコンシューマGPU上で、ホストされたリファレンスは、ロンドンの4つのレストランの474のTripAdvisorレビューを10回ごとに分類している。
それぞれのレビューをスナップすると、21~65に対して5つの異なる値が残され、すべてのレベルでほとんどの2つの集合値がスナップされます。
ロンドンでは、レビュアーを再描画することで、47-81%のレプリカを86-100%に抑えられる。
ロンドンでは4つのレストラン全てを候補者として保持し、マドリードでは12のレストランのうち5つから8つを候補者が保持している。
エクストラランと出力レベルの融合は勝者を安定させるが、その感度を排除せず、融合は最高のメンバーに勝たない。
3つの大きなオープンウェイトモデルは、ホストされたレファレンス・ロンドン(英語版)の勝者を名付け、少なくともレビュアーのスターとレビュー毎の相関関係を一致させるため、小さなオープンウェイト・モデルは、強制ランキングではなくマージンの候補セットとして報告されたローカルCDMをサポートすることができる。
関連論文リスト
- Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models [0.0]
3人の生徒が「幸せとは何か?」と手動で同じ試験に答えた。
コレクションに記録されている年齢は17歳、28歳、45歳。
ほとんどのフロンティア言語モデルは、それを大人に自信を持って割り当てる。
私たちは1,081のAPIセッションを実行し、フレーミング、開示フォーマット、オーディエンス・アウェアネス・インストラクションを操作する6つの実験条件に対して3,225のレスポンスを記録しました。
論文 参考訳(メタデータ) (2026-10-22T21:45:19Z) - SlopBench: How Well Can We Rank Language Models by Slop? A Multi-Domain Benchmark of Repetitive AI Writing [0.0]
SlopBench氏は、どのモデルが固く反復的な散文の読者をAIスロップと呼ぶのかを尋ねる。
電子メール,ソーシャルポスト,エッセイ,職場チャットにおいて,手書きタスク112件のモデル18件を評価した。
論文 参考訳(メタデータ) (2026-09-27T20:38:23Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳(メタデータ) (2026-09-07T10:22:22Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。
120のWebドキュメントに2,523のリードマークがある。
読者が読むものよりも確実に読者に同意するモデルはない。
論文 参考訳(メタデータ) (2026-07-31T10:44:10Z) - Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers [0.0]
大きな言語モデルがブランドを推奨するかどうかを測定するチームは、問題に直面します。
評価されたブランドスコアは、少なくとも4つの分離可能な理由(即時再サンプリング、フレーズのプロンプト、モデルアイデンティティ、クエリ言語)で動きます。
論文 参考訳(メタデータ) (2026-07-14T22:12:52Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳(メタデータ) (2026-06-02T13:41:43Z) - Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。
私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
論文 参考訳(メタデータ) (2026-05-28T11:48:17Z) - OpenDeepThink: Parallel Reasoning via Bradley-Terry Aggregation [53.88666485159289]
OpenDeepThinkは、集団ベースのテスト時間計算フレームワークで、ペアワイズBradley-Terryの比較によって選択する。
OpenDeepThinkはGemini 3.1 ProのCodeforces Eloを8回のLCMコールラウンドで+405ポイント引き上げる。
CF-73は、国際グランドマスターアノテーションによる73の専門家評価コードフォース問題と、公式判決に対する99%の地域評価合意のキュレートされたセットである。
論文 参考訳(メタデータ) (2026-05-14T17:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。