論文の概要: Benchmarking Large Language Models on Floating-Point Error Classification

• arxiv url: http://arxiv.org/abs/2606.31308v1
• Date: Tue, 30 Jun 2026 08:18:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.135511
• Title: Benchmarking Large Language Models on Floating-Point Error Classification
• Title（参考訳）: 浮動小数点誤り分類に基づく大規模言語モデルのベンチマーク
• Abstract要約: 本稿では,ソフトウェアコード中の浮動小数点誤りを静的に検出・分類する大規模言語モデルの有用性について検討する。 浮動小数点誤差の6つのカテゴリにまたがるLSMを評価するために,90個のCカーネルと1130個のテストサンプルのベンチマークであるInterFLOPBenchを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the capability of Large Language Models (LLMs) to detect and classify floating-point errors statically in software code. We introduce InterFLOPBench, a benchmark of 90 C kernels with 1 130 test samples designed to evaluate LLMs across six categories of floating-point error: cancellation, comparison, division by zero, overflow, underflow and NaN, compared across 14 LLMs. The evaluation framework treats floating-point error detection as a multi-label classification problem and employs the F1-score metric to measure performance. Results demonstrate that latest models (Qwen 3 32b, Gemini 2.5 Flash, Phi 4 Reasoning, DeepSeek R1T2, and gpt-oss 20b and 120b) achieve a performance greater than 0.88 overall F1-score. Performance varies between error categories, between explicit operations such as division by zero (Average F1-score: 0.8479) and more subtle numerical phenomena such as underflow (Average F1-score: 0.6059) and cancellation (Average F1-score: 0.6164).
• Abstract（参考訳）: 本稿では,ソフトウェアコード内の浮動小数点誤りを静的に検出・分類するLarge Language Models(LLMs)の機能について検討する。 1130の試験サンプルを持つ90個のCカーネルのベンチマークであるInterFLOPBenchを導入し、14個のLLMに対して、キャンセル、比較、ゼロによる分割、オーバーフロー、アンダーフロー、NaNの6つのカテゴリにわたるLSMを評価する。 評価フレームワークは、浮動小数点誤り検出を多ラベル分類問題として扱い、F1スコア測定を用いて性能を計測する。 その結果、最新のモデル(Qwen 3 32b、Gemini 2.5 Flash、Phi 4 Reasoning、DeepSeek R1T2、gpt-oss 20b、120b)はF1スコア全体の0.88以上のパフォーマンスを実現している。 性能は、0の除算のような明示的な操作(平均F1スコア:0.8479)と、より微妙な数値現象(平均F1スコア:0.6059)とキャンセル(平均F1スコア:0.6164)の間で異なる。

関連論文リスト

• Toward Better Assessment of LLMs' Performance in Clinical Error Detection [13.451007655769827]
  臨床文書における誤りの自動検出のための15大言語モデル(LLM)を評価した。 15モデル中13モデルが、標準慣行が適度に読むF1スコアを達成しながらも、ランダムなペアワイズ判別のレベルを下回っていることが判明した。 F1とペアの精度は、同じバイアスによって反対方向に駆動されるので、F1によるランキングモデルは、系統的に最も弱い差別者を促進する可能性がある。
  論文  参考訳（メタデータ） (2026-08-17T14:41:53Z)
• When Does Few-Shot Prompting Help? A Systematic Empirical Study of Shot-Count Effects Across Model Scale, Architecture, and Output Parsing Robustness [0.0]
  少数のインプット・アウトプット・デモペアをクエリにプリプロンプトして大きな言語モデルに提示する手法であるFew-shot promptingは、NLPで広く採用されている。 しかし、分類性能において、ショットカウントがモデルスケール、アーキテクチャ、出力フォーマットのコンプライアンスとどのように相互作用するかについて、体系的な研究はほとんど行われていない。
  論文  参考訳（メタデータ） (2026-07-25T00:31:40Z)
• CaresAI at SMM4H-HeaRD 2026: Predicting TNM Staging [2.7998963147546143]
  本研究は,SMM4H-HeaRD 2026の6番目の共有タスクとして癌ゲノムアトラス(TCGA)を報告し,腫瘍,リンパ節,転移(TNM)ステージラベルを独立に予測することを目的としている。 本稿では,TF-IDF(Term Frequency-Inverse Document Frequency)機能を用いた古典的および深層学習のアプローチと,CeriorBERT,BioBERT,PubMedBERTの埋め込みについて検討する。 以上の結果から,TNMラベルの分類と同様の埋め込みが可能である一方で,それらの組み合わせによって予測能力が向上することが示唆された。
  論文  参考訳（メタデータ） (2026-07-03T16:25:35Z)
• Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
  大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。 厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。 そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
  論文  参考訳（メタデータ） (2026-05-11T20:23:44Z)
• Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
  一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。 マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。 統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
  論文  参考訳（メタデータ） (2026-05-04T04:13:00Z)
• Prompt Framing Distorts Count-Based Evaluation of LLM Error Detection: Evidence from Numeric Anchoring [0.16921396880325776]
  本稿では,F1をカウントベースとしたF1が,ローカライゼーションの改善を伴わずに劇的に上昇することを示す。 ErrorBenchは、プロンプト誘起カウント歪みの制御されたストレステストプロトコルである。 本研究は,GPT/Claudeシステムにおいて,GPT/Claudeシステムにおいてより大きいカウント応答と,このストレステストプロトコル下でのジェミニファミリーでのより小さな応答を見出した。
  論文  参考訳（メタデータ） (2026-05-03T12:21:42Z)
• Evaluating Large Language Models for Gait Classification Using Text-Encoded Kinematic Waveforms [1.1635287453977645]
  LLM(Large Language Models)は、構造化キネマティックデータに適用した場合、説明機能と信頼性に配慮した出力を提供する。 本研究は,テキスト数値列で表される連続歩行運動学を汎用LLMで分類できるかどうかを検証した。
  論文  参考訳（メタデータ） (2026-03-04T10:23:35Z)
• AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
  既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。 このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
  論文  参考訳（メタデータ） (2026-02-10T06:58:26Z)
• Beyond Single Bugs: Benchmarking Large Language Models for Multi-Vulnerability Detection [1.2802720336459552]
  我々は,C,C++,Python,JavaScriptの4つの主要言語を対象としたマルチ脆弱性検出のベンチマークを紹介する。 長文コードサンプルに制御された脆弱性数を注入することにより,4万ファイルのデータセットを構築した。 その結果, 脆弱性密度の増加に伴い, 性能が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-26T05:43:35Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• Fluid Language Model Benchmarking [126.92394365620525]
  我々は,複数の次元にわたるLMベンチマークを進展させる新しい評価手法であるFluid Benchmarkingを紹介する。 サイコメトリックスにインスパイアされたFluid Benchmarkingは、ベンチマーク項目の相対値がLMの能力レベルに依存するという洞察に基づいている。 効率性,妥当性,分散性,飽和性の4つの次元を検証した結果,Fluid Benchmarkingがすべてにおいて優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2025-09-14T05:49:42Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• LLM-Based Detection of Tangled Code Changes for Higher-Quality Method-Level Bug Datasets [8.166584296080805]
  本稿では,コミットメッセージとメソッドレベルのコード差分の両方を活用することで,絡み合ったコード変化を検出するための大規模言語モデルの有用性について検討する。 その結果,コミットメッセージとコード差分を組み合わせることで,モデルの性能が著しく向上することがわかった。 49のオープンソースプロジェクトにアプローチを適用することで、バグギーと非バグギーメソッド間のコードのメトリクスの分散分離性が向上します。
  論文  参考訳（メタデータ） (2025-05-13T06:26:13Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。