論文の概要: JOR-Bench: Japanese Operations Research Benchmarks for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.16777v1
• Date: Sat, 18 Jul 2026 11:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.258099
• Title: JOR-Bench: Japanese Operations Research Benchmarks for Large Language Models
• Title（参考訳）: JOR-Bench: 大規模言語モデルのための日本の運用研究ベンチマーク
• Abstract要約: JOR-Benchは、大規模言語モデルの能力を評価するための5つの日本語言語ベンチマークのコレクションである。 JOR-Benchは、任意のプログラミング言語で使用可能な、ソルバに依存しないベンチマークである。
• 参考スコア（独自算出の注目度）: 16.295305195753723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present JOR-Bench, a collection of five Japanese-language benchmarks for evaluating the ability of large language models (LLMs) to formulate and solve operations research (OR) problems. Each benchmark is a Japanese translation of an existing English benchmark: IndustryOR, MAMO Complex LP, NL4OPT, OptiBench, and OptMATH, covering 1,319 problems spanning linear programming, mixed-integer programming, non-linear programming, and combinatorial optimization. JOR-Bench is a solver-independent benchmark that can be used with any solver or programming language, and consists of pairs of Japanese problem statements and expected numerical answers. We evaluate seven LLMs, including multilingual general-purpose models and Japanese-specialized models, on both the original English and the new Japanese versions, and compare performance across languages. For the main evaluation, we standardize execution with the Python interface to OR-Tools to make model outputs comparable and reproducible with open-source software. Our results show that OR formulation ability is largely language-neutral for strong multilingual models; the overall average accuracy difference between English and Japanese is only $-0.3$ pp. Yet error analysis reveals subtle cross-lingual differences, including a pragmatic disambiguation failure in some domains that causes models to output decision-variable values instead of the objective value when the prompt is in Japanese.
• Abstract（参考訳）: JOR-Bench は,大規模言語モデル (LLM) が操作研究 (OR) の問題を定式化し解決する能力を評価するための,日本語の5つのベンチマークの集合である。 各ベンチマークは既存の英語ベンチマークの日本語訳である: IndustryOR, MAMO Complex LP, NL4OPT, OptiBench, OptMATH。 JOR-Benchはソルバに依存しないベンチマークであり、任意のソルバやプログラミング言語で使用でき、日本語問題文と期待される数値解からなる。 日本語版と日本語版の両方において,多言語汎用モデルと日本語特化モデルを含む7つのLLMを評価し,言語間の性能比較を行った。 主要な評価のために,Python インターフェースによる実行を OR-Tools に標準化し,モデル出力をオープンソースソフトウェアと同等に再現可能にする。 その結果,ORの定式化能力は強い多言語モデルでは言語ニュートラルであり,英語と日本語の平均精度差はわずか$-0.3$ pp。 しかし、誤り解析は、日本語のプロンプトが目的値ではなく、決定変数の値を出力させるいくつかの領域において、現実的な曖昧さの失敗を含む、微妙な言語間差異を明らかにしている。

関連論文リスト

• Evaluating Language Models on Cross-Language Code Functional Equivalence [6.76025470599609]
  CPP、Java、Pythonで書かれたプログラムのデータセットであるPolyHumanを紹介します。 本データセットを用いて,オープンウェイトおよびプロプライエタリLLM間の言語内および言語間同値検出を評価する。 モデルが関数同値性を誤って判断する系統的不一致の81例を分析した。
  論文  参考訳（メタデータ） (2026-08-25T01:41:00Z)
• The Best Programming Language for Tokenmaxxing: An Investigation of Coding Agent Behavior Across Programming Languages [13.509521852529728]
  我々はPython、Java、Rust、OCamlのプログラミング問題に関する最近の5つのモデルを評価した。 モデル間で整合性のあるトークン消費には大きなバリエーションがあることが示されています。
  論文  参考訳（メタデータ） (2026-07-24T16:41:59Z)
• Asm2SrcEval: Evaluating Large Language Models for Assembly-to-Source Code Translation [4.45354703148321]
  アセンブリ・トゥ・ソースのコード翻訳はリバースエンジニアリング、サイバーセキュリティ、ソフトウェアメンテナンスにおいて重要なタスクである。 本稿では,アセンブリ・トゥ・ソース・トランスフォーメーションにおける5つの最先端大規模言語モデルの包括的評価について述べる。
  論文  参考訳（メタデータ） (2025-11-28T12:40:30Z)
• UA-Code-Bench: A Competitive Programming Benchmark for Evaluating LLM Code Generation in Ukrainian [0.42970700836450487]
  本稿では,ウクライナにおける言語モデルのコード生成と競合するプログラム問題解決能力の徹底的な評価を目的とした,新しいオープンソースベンチマークであるUA-Code-Benchを紹介する。 ベンチマークには、Eolympプラットフォームから500の問題が含まれており、非常に簡単なものから非常に難しいものまで、5つの複雑性レベルに均等に分散している。 その結果,OpenAI o3 や GPT-5 のようなトップパフォーマンスモデルでさえ,その半分しか解けていないことがわかった。
  論文  参考訳（メタデータ） (2025-11-07T07:24:56Z)
• Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors [45.37878669586302]
  大規模言語モデル(LLM)は、ユーザ入力を持つマルチリンガルな実世界のアプリケーションにますます多くデプロイされている。 ほとんどのベンチマークはクリーンな入力を前提としており、LLMの堅牢性は、ほとんど探索されていないタイプミスに委ねられている。 MulTypoは,言語固有のキーボードレイアウトとタイピング行動に基づいて,ヒューマンライクなエラーをシミュレートする多言語型タイポ生成アルゴリズムである。
  論文  参考訳（メタデータ） (2025-10-10T16:49:12Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Program Synthesis with Large Language Models [40.41120807053989]
  我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。 合成性能はモデルサイズと対数的にスケールすることがわかった。 最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
  論文  参考訳（メタデータ） (2021-08-16T03:57:30Z)
• KLEJ: Comprehensive Benchmark for Polish Language Understanding [4.702729080310267]
  ポーランド語理解のための総合的なマルチタスクベンチマークを導入する。 また、ポーランド語に特化して訓練されたトランスフォーマーベースのモデルであるHerBERTもリリースしました。
  論文  参考訳（メタデータ） (2020-05-01T21:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。