論文の概要: KiranaBench: Can a Language Model Run a Neighbourhood Shop?
- arxiv url: http://arxiv.org/abs/2610.22980v1
- Date: Fri, 16 Oct 2026 06:02:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.777652
- Title: KiranaBench: Can a Language Model Run a Neighbourhood Shop?
- Title（参考訳）: KiranaBench: 言語モデルは隣のショップで実行できますか?
- Abstract要約: 大規模言語モデル(LLM)エージェントは、ビジネスを自律的に運営するなど、長期的タスクにおいてますます評価されている。
インドでは,4つの役割(マネージャ,レジ係,ヘルパー,ブックキーパー)がそれぞれ別々のLLMエージェントによって演じられる,模擬的な汎用店舗であるKiranaBenchを紹介した。
オープンウェイトLLMを4つ評価し, すべて固定ルール店主ベースラインよりはるかに不足していることを確認した。
- 参考スコア（独自算出の注目度）: 2.085221046108493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are increasingly evaluated on long-horizon tasks, including autonomously running a business. Existing benchmarks for this setting are almost exclusively English-language, Western in retail context, and single-agent, with the agent observing the business directly. We study how these results transfer to a multi-agent Indic setting. We introduce KiranaBench, a simulated Indian general store in which four roles (manager, cashier, helper, and bookkeeper) are each played by a separate LLM agent. Interactions with customers and suppliers occur in English, Hindi, or Hinglish, and product demand is calibrated to India's national Household Consumption Expenditure Survey. Evaluating four open-weight LLMs, we find that all fall far short of a fixed-rule shopkeeper baseline: the best model earns only one-eighth of the baseline's profit, and two models finish below an unmanaged shop. Performance is also consistently lower for Hindi and Hinglish than for English supplier communication. KiranaBench offers evidence that current LLM agents are not yet reliable for autonomously operating small businesses in India, and provides a testbed for developing agents suited to settings that are long-horizon, collaborative, and multilingual.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ビジネスを自律的に運営するなど、長期的タスクにおいてますます評価されている。
この設定の既存のベンチマークは、ほとんど英語、Western in retail context、およびシングルエージェントであり、エージェントは直接ビジネスを観察する。
これらの結果がマルチエージェント・インデックス・セッティングにどのように移行するかを検討する。
インドでは,4つの役割(マネージャ,レジ係,ヘルパー,ブックキーパー)がそれぞれ別々のLLMエージェントによって演じられる,模擬的な汎用店舗であるKiranaBenchを紹介した。
顧客やサプライヤーとの交流は英語、ヒンディー語、ヒングリッシュ語で行われ、製品需要はインドの家庭消費支出調査に調整されている。
オープンウェイトLLMを4つ評価すると、すべてが固定ルールの店主ベースラインよりはるかに不足していることが分かる。
ヒンディー語やヒングリッシュ語のパフォーマンスも、英語のサプライヤー通信よりも一貫して低い。
KiranaBench氏は、現在のLLMエージェントが、インドの小規模ビジネスを自律的に運営する上で、まだ信頼性が低いことを証明し、長期的、協力的、多言語的な設定に適したエージェントを開発するためのテストベッドを提供する。
関連論文リスト
- WorldBench: Culturally Grounded Benchmark for Multilingual Agents [69.76002914143531]
既存のベンチマークでは、状態の保存、言語間のパフォーマンス、現実的な根拠のあるシナリオへのアプリケーションをテストすることはめったにない。
We present WorldBench: a comprehensive, multilingual benchmark, where agent can act in a sandbox via structured action。
WorldBenchは、7つの言語と8つの文化にまたがる1,600のタスクで構成され、人間のアノテータからのフィードバックによってフィルタリングされ洗練されている。
論文 参考訳（メタデータ） (2026-09-01T10:53:07Z) - PolyWorkBench: Benchmarking Multilingual Long-Horizon LLM Agents [72.96251271825038]
大規模言語モデル(LLM)エージェントは、計画、ツールの使用、外部環境との相互作用を必要とする長い水平タスクにおいて、強いパフォーマンスを示している。
ほとんどの既存のベンチマークでは、単一の言語内で実行プロセス全体が実行されるモノリンガルな設定を暗黙的に仮定している。
多言語長時間労働作業におけるエージェント評価のためのベンチマークであるPolyWorkBenchを紹介する。
論文 参考訳（メタデータ） (2026-07-07T08:50:09Z) - AgenticPay: A Multi-Agent LLM Negotiation System for Buyer-Seller Transactions [49.49718899185783]
大規模言語モデル(LLM)ベースのエージェントは、自律的に交渉、コーディネート、トランザクショナル化がますます期待されている。
本稿では,自然言語によるマルチエージェント・バイヤー・セラー交渉のためのベンチマークおよびシミュレーションフレームワークであるAgenticPayを紹介する。
論文 参考訳（メタデータ） (2026-02-05T18:50:36Z) - Indic-TunedLens: Interpreting Multilingual Models in Indian Languages [29.672158761831472]
インド語のための新しい解釈可能性フレームワークIndic-TunedLensを紹介する。
標準のLogit Lensとは異なり、Indic-TunedLensはターゲット言語ごとに隠れた状態を調整している。
MMLUベンチマークを用いて10のインド言語上でのフレームワークの評価を行い,SOTAの解釈可能性よりも大幅に向上することを確認した。
論文 参考訳（メタデータ） (2026-01-29T15:08:40Z) - HinTel-AlignBench: A Framework and Benchmark for Hindi-Telugu with English-Aligned Samples [3.3715057550177145]
インド語の視覚言語モデル(VLM)を評価し,それを英語のパフォーマンスと比較するためのスケーラブルなフレームワークを提案する。
このフレームワークを使ってHinTel-AlignBenchを生成する。HindiとTeluguのさまざまなソースから英語対応のサンプルを描画するベンチマークだ。
ヒンディー語では平均8.3ポイント、テルグ語では5.5ポイントである。
論文 参考訳（メタデータ） (2025-11-19T07:11:00Z) - Ticket-Bench: A Kickoff for Multilingual and Regionalized Agent Evaluation [4.563830993050022]
タスク指向シナリオにおける多言語エージェント評価のためのベンチマークであるTicket-Benchを紹介する。
Ticket-Benchは、ポルトガル語、英語、スペイン語、ドイツ語、イタリア語、フランス語の6つの主要言語にわたるサッカーチケット購入のドメインをシミュレートしている。
我々は,関数呼び出しの精度と言語間の一貫性を計測し,多種多様な商用およびオープンソース LLM の評価を行った。
論文 参考訳（メタデータ） (2025-09-17T23:13:47Z) - MEXA: Multilingual Evaluation of English-Centric LLMs via Cross-Lingual Alignment [48.03702722532143]
MEXAは、英語中心の大規模言語モデルの多言語能力を評価する方法である。
MEXAは並列文を用いて英語と非英語のアライメントを計算する。
このアライメントは、異なる言語でのモデルパフォーマンスを推定するために使用することができる。
論文 参考訳（メタデータ） (2024-10-08T09:59:23Z) - Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction
Following: A Case Study of Arabic [1.0878040851638]
GPT-4を英語とアラビア語の問合せのための一様評価器として使用し、様々なオープンエンドタスクにおけるLCMの性能を評価し比較する。
マルチリンガルおよびマルチターンデータセットを用いた微調整ベースモデルは、スクラッチからトレーニングされたマルチリンガルデータと競合する可能性がある。
論文 参考訳（メタデータ） (2023-10-23T11:40:04Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。