論文の概要: MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes
- arxiv url: http://arxiv.org/abs/2609.10016v1
- Date: Wed, 09 Sep 2026 10:46:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.993888
- Title: MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes
- Title（参考訳）: MetroLLM-Bench:トランジットキオスクランタイムとしての言語モデルの評価
- Abstract要約: トランジットキオスクのポリシー層として,言語モデルをテストするための955ケースベンチマークであるMetroLLM-Benchを紹介する。
37駅から414駅までの6つの実際の地下鉄システムと、ルーティング、運賃計算、ディスラプション、アクセシビリティ、敵の入力を含む11のカテゴリをカバーしている。
14の決定論的スコアリングコンポーネントがTier 1を形成し、8つの意味論的品質コンポーネントがTier 2を形成し、そのうち6つは言語モデル判断器を使用している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce MetroLLM-Bench, a 955-case benchmark for testing language models as the policy layer of a transit kiosk. It covers six real metro systems, ranging from 37 to 414 stations, and eleven categories that include routing, fare calculation, disruptions, accessibility, and adversarial input. In each case, the model must call structured tools and submit a machine-renderable terminal state containing an outcome, a per-ticket fare quote when applicable, and a kiosk action. Fourteen deterministic scoring components form Tier 1; eight semantic-quality components form Tier 2, six of which use a language-model judge. We report Tier 1 and the combined score of both tiers. A stratified 75/25 split reserves 717 cases for training-data generation and 238 for held-out evaluation. We evaluate twenty-six models from six vendors, of which twenty-three are ranked. On the held-out partition, a 4B Qwen 3.5 student trained through parameter-efficient fine-tuning (PEFT) exceeds both GPT-5.6 tiers on Tier 1 (91.3 against 90.6 and 90.0) and matches GPT-5.4 full at maximum reasoning effort (91.4), with a 2.6 GB Q4_K_M footprint. Larger 9B and 27B students provide no further Tier 1 improvement over the 4B student at this training scale. Across the four Qwen sizes, the PEFT gain over the corresponding base model decreases from +7.03 points at 2B (three training seeds) to -0.91 at 27B; every seed shows the same direction at every size. A deterministic rule-based baseline reaches 84.6 on Tier 1, with the remaining language-model advantage concentrated in policy adaptation, compound scenarios, accessibility, and temporal reasoning. Muse Glimmer 30B leads the composite ranking, and serving configuration alone moves the Qwen 3.5-to-3.8 comparison by 2.7 Tier 1 points. The benchmark, harness, reproduction guide, and fine-tuned students are released at https://github.com/continker/metrollm-bench.
- Abstract（参考訳）: トランジットキオスクのポリシー層として,言語モデルをテストするための955ケースベンチマークであるMetroLLM-Benchを紹介する。
37駅から414駅までの6つの実際の地下鉄システムと、ルーティング、運賃計算、ディスラプション、アクセシビリティ、敵の入力を含む11のカテゴリをカバーしている。
いずれの場合も、モデルが構造化ツールを呼び出して、結果を含むマシンレンダリング可能な端末状態、適用時にチケットごとの見積り、およびキオスクアクションを提出しなければならない。
14の決定論的スコアリングコンポーネントがTier 1を形成し、8つの意味論的品質コンポーネントがTier 2を形成し、そのうち6つは言語モデル判断器を使用している。
両階層のタイア1と組み合わせスコアを報告する。
階層化75/25分割予備区は,訓練データ生成に717例,保留評価に238例であった。
我々は、6つのベンダーから26モデルを評価し、そのうち23モデルをランク付けした。
ホールドアウトパーティションでは、4B Qwen 3.5の学生がパラメータ効率の微調整(PEFT)によってトレーニングされ、Tier 1 (91.3対90.6と90.0) 上の GPT-5.6 を上回り、最大推理(91.4)で GPT-5.4 と一致し、2.6 GB Q4_K_M のフットプリントを持つ。
より大型の9Bと27Bの学生は、このトレーニングスケールで4Bの学生よりもTier 1の改善を提供しない。
4つのQwenサイズで、対応するベースモデルに対するPEFTのゲインは2B(3つのトレーニングシード)で+7.03ポイントから27Bで-0.91に減少し、各シードは各サイズで同じ方向を示す。
決定論的ルールベースのベースラインは、Tier 1上で84.6に達し、残りの言語モデルの利点は、ポリシー適応、複合シナリオ、アクセシビリティ、時間的推論に集中している。
Muse Glimmer 30Bは複合ランキングをリードし、サービス構成だけでQwen 3.5-to-3.8の比較を2.7 Tier 1のポイントで移動させる。
ベンチマーク、ハーネス、再現ガイド、微調整された学生はhttps://github.com/continker/metrollm-bench.comでリリースされている。
関連論文リスト
- NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。
本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
論文 参考訳（メタデータ） (2026-09-08T03:14:54Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - MoganBert-TR: A Turkish Encoder Foundation Model Trained from Scratch with a CLM-to-MLM Curriculum [0.0]
MoganBert-TRは237.3Bのトークンを2段階のCLM-to-MLMカリキュラムでトレーニングしている。
MoganBert-TR は TrGLUE で78.41 に達し、トルコのModernBERT モデルの中でも最高である。
論文 参考訳（メタデータ） (2026-08-26T13:12:51Z) - FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training [0.0]
オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。
FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。
同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
論文 参考訳（メタデータ） (2026-08-20T21:14:52Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark [4.626261940793026]
我々は,661列のPiSARのホールドアウトスライスのフロンティアゼロショットベースラインに対して,教師付き微調整モデル3つをベンチマークした。
すべてのモデル、フロンティアまたは微調整は、同じスコアリングパイプラインを持つ661ロースライスで評価される。
論文 参考訳（メタデータ） (2026-05-28T05:49:36Z) - TabH2O: A Unified Foundation Model for Tabular Prediction [12.882141870947706]
本研究では,テキスト内学習による1つの前方パスの分類と回帰を行うモデルであるTabH2Oを提案する。
我々はTALENTベンチマークでTabH2O v1(29.2Mパラメータ)を評価し、6つの評価手法のうち平均2.55のランクを達成した。
論文 参考訳（メタデータ） (2026-05-18T13:27:54Z) - The autoPET3 Challenge: Automated Lesion Segmentation in Whole-Body PET/CT $\unicode{x2013}$ Multitracer Multicenter Generalization [67.92281859568168]
第3回オートPETチャレンジ(MICCAI 2024)の設計と成果を報告する。
全身PET/CTにおける自動病変分割を, 構成的一般化条件下でベンチマークした。
トップランクのアルゴリズムは平均DSCが0.66、FNVが3.18mL、FPVが2.78mLである。
論文 参考訳（メタデータ） (2026-05-07T07:07:09Z) - CheeseBench: Evaluating Large Language Models on Rodent Behavioral Neuroscience Paradigms [0.0]
CheeseBenchは、9つの古典的行動神経科学パラダイムに基づいて、大きな言語モデル(LLM)を評価するベンチマークである。
それぞれのタスクは、近似動物ベースラインを持つピアレビューされたロジトプロトコルに基礎を置いている。
テキストベースのASCIIレンダリングを用いて6つのオープンウェイトLCMを評価し、ランダムベースラインとグラフベースの強化学習エージェントを比較した。
論文 参考訳（メタデータ） (2026-04-12T21:37:26Z) - Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter
Encoders for Natural Language Understanding Systems [63.713297451300086]
本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。
その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
論文 参考訳（メタデータ） (2022-06-15T20:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。