論文の概要: Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena

• arxiv url: http://arxiv.org/abs/2610.19095v1
• Date: Tue, 13 Oct 2026 19:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.771862
• Title: Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena
• Title（参考訳）: 似たようなモデル、壊れたオッド:チャットボットアリーナでルースの公理が失敗する場所
• Abstract要約: アリーナはブラッドリー・テリーモデルで言語モデルをランク付けしている。 180万票のアレナでは、ブラッドリー・テリーが予測した1つのモデルの1.37倍の得票率である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chatbot Arena ranks language models with the Bradley-Terry model, which gives each model one score and so assumes Luce's choice axiom. Choice theory predicts where this fails: near-copies are told apart more decisively than their scores imply. On 1.8 million Arena votes, votes between versions of one model are 1.37 times as decisive as Bradley-Terry predicts, between sizes of one generation 1.26 times and between models of one lab 1.12 times; a release a year later gives consistent multipliers, and the effect survives alternative tie treatments, prompt subsets and topics, and timing checks. How alike two models' answers are worded and formatted tracks the effect. A correction with four to six parameters predicts held-out votes better than Bradley-Terry and than models with hundreds of parameters, mostly by modelling ties; frozen and carried to new releases in a test fixed in advance, its gains are concentrated in ties, and better head-to-head odds are not established. The leaderboard order barely moves. With language-model judges and three-answer menus, a near-copy takes votes mostly from its twin when choices are pooled over prompts (log-odds shift +0.10, 95% interval 0.05 to 0.16); within a prompt the shift is smaller and clear for two of four judges.
• Abstract（参考訳）: Chatbot ArenaはBradley-Terryモデルで言語モデルをランク付けし、各モデルにスコアを与え、ルースの選択公理を仮定する。 選択理論(Choice theory)は、これがどこで失敗するかを予測する。 180万票のアレナでは、ブラッドリー・テリーが予測する1つのモデルの1.37倍、1世代の1.26倍、実験室の1.12倍の1つのモデルの間で投票が行われる。 2つのモデルの回答がワード化され、フォーマット化されるように、その効果が追跡される。 4～6つのパラメータによる修正は、ブラッドリー・テリーよりも、数百のパラメーターを持つモデルよりも、予測され、主に関係をモデル化し、あらかじめ固定されたテストで新しいリリースに凍結され、実行され、その利得は関係に集中し、頭と頭の両方の確率は確立されない。 リーダーボードの注文はほとんど動きません。 言語モデル審査員と3人の回答メニューでは、選択がプロンプト(log-odds shift +0.10, 95% interval 0.05 to 0.16)でプールされている場合、ほぼコピーが双子から票を取り、プロンプト内では4人の審査員のうち2人に対してより小さくクリアである。

関連論文リスト

• HakemBench: A Turkish Benchmark of Typed Decisions [0.0]
  HakemBenchは、テスト対象のモデルがテキスト、質問、固定されたオプションセットを読み取って、すべてのオプションの確率を返す型決定のベンチマークである。 バージョン1.0はCC BY 4.0で完全に公開されており、2,346の項目と4,275の選択肢、ye/no、スコアの7つのトラックがある。
  論文  参考訳（メタデータ） (2026-10-01T16:55:18Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment [0.9821874476902969]
  逆ペアによる方向バイアスを検出するOptimismBenchを導入する。 ポストトレーニングではバイアスの兆候が示され、異なる家族の反対のシフトが示される。 モデル毎の指向性監査のために,10言語で3,870項目をリリースしています。
  論文  参考訳（メタデータ） (2026-07-29T14:38:55Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• Don't Throw Away Your Pretrained Model [68.63558351111303]
  私たちは、モデルコラボレーションを通じて両方の世界を最大限に活用することを目指しています。 そこで我々は,事前訓練されたモデルバージョンが,応答シーケンスで「話し方」を交互に行うスイッチ生成を提案する。
  論文  参考訳（メタデータ） (2025-10-10T23:12:20Z)
• Decentralized Arena: Towards Democratic and Scalable Automatic Evaluation of Language Models [66.51871176061195]
  Decentralized Arena (dearena) は,すべての大規模言語モデルからの集合的インテリジェンスを活用して相互評価を行う,完全に自動化されたフレームワークである。 人の判断と最大で97%の相関を保ち コストを大幅に削減します
  論文  参考訳（メタデータ） (2025-05-19T07:34:25Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora [62.997667081978825]
  本稿では,イタリア語に対する教師なし語彙意味変化のシステムと知見について述べる。 その課題は、対象の単語が時間とともにその意味を進化させたかどうかを判断することであり、それは2つの時間固有のデータセットからの原文のみに依存する。 本研究では,各期間に対象単語を表す2つのモデルを提案し,しきい値と投票方式を用いて変化単語を予測する。
  論文  参考訳（メタデータ） (2020-11-07T11:27:18Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。