論文の概要: Benchmarking Large Language Models with Integer Sequence Generation Tasks
- arxiv url: http://arxiv.org/abs/2411.04372v2
- Date: Tue, 21 Oct 2025 18:21:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:02.742338
- Title: Benchmarking Large Language Models with Integer Sequence Generation Tasks
- Title（参考訳）: 整数列生成タスクを用いた大規模言語モデルのベンチマーク
- Authors: Daniel O'Malley, Manish Bhattarai, Javier Santos, Nishath Rajiv Ranasinghe, Erick Draayer,
- Abstract要約: 本稿では,数学推論タスクにおける大規模言語モデル(LLM)の機能評価を行うベンチマークを提案する。
このベンチマークは、オンラインシーケンス百科事典(OEIS)から得られた整数列生成タスクからなる。
私たちの評価には、OpenAI(特別な推論に焦点を当てたoシリーズを含む)、Arthropic、Meta、Googleのリードモデルが含まれています。
- 参考スコア（独自算出の注目度）: 2.204499020600093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel benchmark designed to rigorously evaluate the capabilities of large language models (LLMs) in mathematical reasoning and algorithmic code synthesis tasks. The benchmark comprises integer sequence generation tasks sourced from the Online Encyclopedia of Integer Sequences (OEIS), testing LLMs' abilities to accurately and efficiently generate Python code to compute these sequences without using lookup tables. Our comprehensive evaluation includes leading models from OpenAI (including the specialized reasoning-focused o-series), Anthropic, Meta, and Google across a carefully selected set of 1000 OEIS sequences categorized as ``easy'' or ``hard.'' Half of these sequences are classical sequences from the early days of OEIS and half were recently added to avoid contamination with the models' training data. To prevent models from exploiting memorized sequence values, we introduce an automated cheating detection mechanism that flags usage of lookup tables, validated by comparison with human expert evaluations. Experimental results demonstrate that reasoning-specialized models (o3, o3-mini, o4-mini from OpenAI, and Gemini 2.5-pro from Google) achieve substantial improvements in accuracy over non-reasoning models, especially on more complex tasks. However, overall model performance on the hard sequences is poor, highlighting persistent challenges in algorithmic reasoning. Our benchmark provides important insights into the strengths and limitations of state-of-the-art LLMs, particularly emphasizing the necessity for further advancements to reliably solve complex mathematical reasoning tasks algorithmically.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の数学的推論およびアルゴリズム的コード合成タスクにおける性能を厳格に評価する新しいベンチマークを提案する。
このベンチマークは、Online Encyclopedia of Integer Sequences (OEIS)から得られた整数シーケンス生成タスクで構成されており、ルックアップテーブルを使わずにPythonコードを正確に効率よく生成するLLMの能力をテストする。
包括的評価には、OpenAI(特別な推論に焦点を当てたoシリーズを含む)、Anthropic、Meta、Googleから、慎重に選択された1000のOEISシーケンスを"`easy'または"`hard"に分類する。
「」これらの配列の半数はOEIS初期の古典的配列であり、半数は最近モデルのトレーニングデータによる汚染を避けるために追加されたものである。
モデルが記憶されたシーケンス値を利用するのを防止するため、人間の専門家による評価と比較して、ルックアップテーブルの使用をフラグする自動不正検出機構を導入する。
実験結果から、推論特化モデル(OpenAIのo3, o3-mini, o4-mini, GoogleのGemini 2.5-pro)は、特に複雑なタスクにおいて、非推論モデルよりも精度が大幅に向上することが示された。
しかし、ハードシーケンスの全体的なモデル性能は貧弱であり、アルゴリズム推論における永続的な課題を浮き彫りにしている。
我々のベンチマークは、最先端のLLMの強みと限界に関する重要な洞察を提供し、特に、複雑な数学的推論タスクをアルゴリズム的に確実に解くためのさらなる進歩の必要性を強調している。
関連論文リスト
- Program Semantic Inequivalence Game with Large Language Models [10.358176296850639]
大きな言語モデル(LLM)は、日々のコーディングタスクにおいて強力なパフォーマンスを達成することができるが、プログラムのセマンティクスに関する非自明な推論を必要とする複雑なタスクでは失敗する可能性がある。
本研究では,意味的不等価ゲームSInQに基づいて,コード推論学習データを合成的に生成する手法について検討する。
この設定により、無限の計算資源の限界における自己再生による理論的に無制限な改善が可能であることを証明した。
論文 参考訳（メタデータ） (2025-05-02T20:03:35Z) - Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。
我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。
我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
論文 参考訳（メタデータ） (2025-04-29T06:33:13Z) - Code-Driven Inductive Synthesis: Enhancing Reasoning Abilities of Large Language Models with Sequences [38.76458756232632]
大規模言語モデルにおける帰納的推論について検討する。
帰納的推論データのソースとして数列を用いる。
シーケンス合成データパイプラインを構築し、トレーニングデータセットCodeSeqを作成します。
論文 参考訳（メタデータ） (2025-03-17T12:33:26Z) - EquiBench: Benchmarking Large Language Models' Understanding of Program Semantics via Equivalence Checking [55.81461218284736]
EquiBenchは、大規模言語モデル(LLM)を評価するための新しいベンチマークである。
2つのプログラムが全ての可能な入力に対して同一の出力を生成するかどうかを決定する。
19の最先端LCMを評価し、最高の精度は63.8%と76.2%であり、これは50%のランダムベースラインよりわずかに高い。
論文 参考訳（メタデータ） (2025-02-18T02:54:25Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z) - Exploring Automatic Evaluation Methods based on a Decoder-based LLM for
Text Generation [16.78350863261211]
本稿では,エンコーダモデルを用いたチューニングや,同じ条件下での大規模言語モデルなど,様々な手法を比較する。
実験結果から, 調律エンコーダモデルと比較すると, 調律デコーダモデルの性能は低かった。
また、ChatGPTのような非常に大きなデコーダベースのモデルのコンテキスト内学習は、きめ細かいセマンティックな違いを識別することが困難であることも明らかにした。
論文 参考訳（メタデータ） (2023-10-17T06:53:00Z) - The Consensus Game: Language Model Generation via Equilibrium Search [73.51411916625032]
言語モデル復号のための学習不要なゲーム理論を新たに導入する。
本手法では,正規化不完全情報シーケンシャルシグナリングゲームとして,言語モデルの復号化を行う。
EQUILIBRium-RANKINGをLLaMA-7Bに適用すると、より大型のLLaMA-65BとPaLM-540Bより優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-10-13T14:27:21Z) - When Counting Meets HMER: Counting-Aware Network for Handwritten
Mathematical Expression Recognition [57.51793420986745]
我々は、手書き数式認識(HMER)のための非従来型ネットワークであるCounting-Aware Network(CAN)を提案する。
シンボルレベルの位置アノテーションを使わずに各シンボルクラスの数を予測できる弱教師付きカウントモジュールを設計する。
HMERのベンチマークデータセットの実験により、エンコーダ・デコーダモデルの予測誤差を修正するために、共同最適化とカウント結果の両方が有用であることが検証された。
論文 参考訳（メタデータ） (2022-07-23T08:39:32Z) - Syntax-Aware Network for Handwritten Mathematical Expression Recognition [53.130826547287626]
手書き数式認識(HMER)は、多くの潜在的な応用が可能な課題である。
HMERの最近の手法はエンコーダ・デコーダアーキテクチャで優れた性能を実現している。
本稿では,構文情報をエンコーダ・デコーダネットワークに組み込んだHMERの簡易かつ効率的な手法を提案する。
論文 参考訳（メタデータ） (2022-03-03T09:57:19Z) - CGEMs: A Metric Model for Automatic Code Generation using GPT-3 [0.0]
本研究は,理論的証明を用いて,あるいはモンテカルロシミュレーション法を用いてAI生成コンテンツを検証することを目的とする。
この場合、後者の手法を用いて統計的にかなりの数のサンプルを検査・検証する。
コンパイル、ロジック変換へのNL記述、必要な編集数、一般的に使用されている静的コードメトリクスとNLPメトリクス。
論文 参考訳（メタデータ） (2021-08-23T13:28:57Z) - Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。
この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文 参考訳（メタデータ） (2020-06-22T21:56:14Z) - IsarStep: a Benchmark for High-level Mathematical Reasoning [20.96474618260995]
本稿では,高レベルな数学的推論のためのベンチマークを提案し,ニューラルシークエンス・ツー・シーケンスモデルの推論能力について検討する。
我々は、人間の専門家が定理証明器で記述した最大の証明のリポジトリから、非合成データセットを構築した。
論文 参考訳（メタデータ） (2020-06-13T21:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。