論文の概要: ISA-Bench: A Benchmark for Computational Reasoning Across Instruction Set Architectures

• arxiv url: http://arxiv.org/abs/2609.22878v1
• Date: Sat, 19 Sep 2026 08:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.911957
• Title: ISA-Bench: A Benchmark for Computational Reasoning Across Instruction Set Architectures
• Title（参考訳）: ISA-Bench: 命令セットアーキテクチャ間の計算推論ベンチマーク
• Abstract要約: 本稿では,制約付き命令セットを持つプログラミングゲームのベンチマークであるISA-Benchを紹介する。 推論モデルは、コード特化モデルや汎用モデルよりも平均解率が高いが、不慣れな構文は依然として失敗の主な原因である。
• 参考スコア（独自算出の注目度）: 27.764308035620388
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language model code generation benchmarks primarily evaluate well-resourced languages like Python and Java, where models benefit from abundant training data. They provide limited evidence about reasoning in unfamiliar computational models: deriving arithmetic from a single subtract instruction, coordinating parallel programs across communicating nodes, or wiring logic gates into circuits. We present ISA-Bench, a benchmark of programming games with constrained instruction sets. For each game we provide a full execution stack (parser, VM, and verifier), enabling automated evaluation with structured feedback for iterative refinement. Reasoning models achieve higher average solve rates than code-specialized and general-purpose models, but unfamiliar syntax remains a major source of failure. Models solve more tasks with iterative feedback, though the gains vary substantially across architectures. We introduce a reasoning--execution gap (REG) analysis that reveals a recurring disconnect between identifying a plausible computational strategy and expressing it as a correct program in the target ISA. Code is open-sourced.
• Abstract（参考訳）: 大規模な言語モデルコード生成ベンチマークは、モデルが豊富なトレーニングデータから恩恵を受けるPythonやJavaのような、十分なリソースを持つ言語を主に評価する。 これらは、単一のサブトラクション命令からの算術の導出、通信ノード間の並列プログラムの調整、論理ゲートの回路への配線など、未知の計算モデルにおける推論に関する限られた証拠を提供する。 本稿では,制約付き命令セットを持つプログラミングゲームのベンチマークであるISA-Benchを紹介する。 各ゲームに対して、完全な実行スタック(パーサ、VM、検証器)を提供し、構造化されたフィードバックによる反復的な改善の自動評価を可能にします。 推論モデルは、コード特化モデルや汎用モデルよりも平均解率が高いが、不慣れな構文は依然として失敗の主な原因である。 モデルは反復的なフィードバックで多くのタスクを解決しますが、利得はアーキテクチャによって大きく異なります。 本稿では,確率的計算戦略の同定と,それをターゲットISAの正しいプログラムとして表現することの相違が繰り返し現れる推論-実行ギャップ(REG)解析を導入する。 コードはオープンソースである。

関連論文リスト

• The Imitation Game: When LLMs Learn to Reason Like Programs via Code-Centric Reasoning Data Synthesis [50.473217152006875]
  MIMICは、データ合成を推論するための厳密な媒体として実行可能なコードを活用するフレームワークである。 MIMICは、ナラティブ融合、コード誘導テスト合成、動的コードインスツルメンテーションを通じて、アルゴリズムを検証可能な推論軌道に変換する。 提案手法は, 一般的な推論, 複雑な数学的ベンチマーク, きめ細かい決定論的タスクにおいて, 精度を著しく向上させる。
  論文  参考訳（メタデータ） (2026-09-13T17:04:16Z)
• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• Reasoning Distillation and Structural Alignment for Improved Code Generation [0.6933020649563103]
  この研究は、大規模言語モデルの推論能力を、より速く、より安価にデプロイできる、より小さく、より効率的なモデルに蒸留する。 提案手法は,正解経路の同定を学習することで,VLLMの推論能力と問題解決能力をエミュレートするためにモデルを訓練する。 実験結果から,我々の微調整モデルは,安価で簡単な実装プロセスによって開発され,パス@1,平均データフロー,平均構文がメトリクスにマッチする点において,ベースラインモデルよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2025-10-20T14:47:47Z)
• Agentic-R1: Distilled Dual-Strategy Reasoning [58.73951532294446]
  現在のロングチェーン・オブ・ソート(ロングCoT)モデルは数学的推論において優れているが、遅くてエラーを起こしやすい自然言語トレースに依存している。 複数の教師の補完的推論戦略を統合された学生モデルに蒸留する微調整フレームワークであるDualDistillを導入する。 本手法は,計算集約型ベンチマークと標準ベンチマークの両方を含むタスクの精度を向上する。
  論文  参考訳（メタデータ） (2025-07-08T06:35:16Z)
• PBEBench: A Multi-Step Programming by Examples Reasoning Benchmark inspired by Historical Linguistics [5.645098175233682]
  我々は,Large Language Models (LLMs) の帰納的推論能力を評価する新しいタイプのベンチマークに貢献する。 本稿では,制御不能な問題を生成し,推論モデルの評価を可能にする完全自動パイプラインを提案する。 実験により、テストタイム計算やLCoT(ロングチェーンオブ思想)推論を利用するモデルと、そうでないモデルの間には、かなりのパフォーマンスギャップが明らかになる。
  論文  参考訳（メタデータ） (2025-05-29T05:51:16Z)
• From Reasoning to Code: GRPO Optimization for Underrepresented Languages [0.7864304771129751]
  本稿では,Qwen 2.5モデルの小型コードバージョンとグループ相対ポリシー最適化を組み合わせた一般化可能なアプローチを提案する。 推論によるフィードバックを直接強化学習ループに統合することにより、論理的に一貫性があり、構文的に正確なコードを生成する。
  論文  参考訳（メタデータ） (2025-05-20T11:28:48Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  カリキュラムベースの論理認識型チューニングフレームワークであるLACTを提案する。 具体的には、任意の一階論理クエリをバイナリツリー分解によって拡張する。 広く使われているデータセットに対する実験では、LATは高度な手法よりも大幅に改善(平均+5.5% MRRスコア)し、新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• SymbolicAI: A framework for logic-based approaches combining generative models and solvers [9.841285581456722]
  生成過程における概念学習とフロー管理に論理的アプローチを取り入れた,汎用的でモジュール化されたフレームワークであるSybolicAIを紹介する。 我々は,大規模言語モデル(LLM)を,自然言語命令と形式言語命令の両方に基づいてタスクを実行する意味的解決器として扱う。
  論文  参考訳（メタデータ） (2024-02-01T18:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。