論文の概要: Property-Based Testing for Robust Softmax and Cross-Entropy

• arxiv url: http://arxiv.org/abs/2610.36427v1
• Date: Tue, 27 Oct 2026 00:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.21177
• Title: Property-Based Testing for Robust Softmax and Cross-Entropy
• Title（参考訳）: ロバストソフトマックスとクロスエントロピーの特性ベース試験
• Abstract要約: 最近の論文では、ほぼすべての標準機械学習ライブラリにおけるソフトマックス関数とクロスエントロピー関数の2つの数値的問題を明らかにしている。 これらの問題は、仮説の単純なプロパティベースのテストによって回収できることが示される。 次に、これらのテストに合格し、因果注意マスキングにおける使用をサポートする、より堅牢なソフトマックス実装を提案する。
• 参考スコア（独自算出の注目度）: 3.746978211270756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A recent paper of Barron et. al. (2026) identified two numerical issues with the softmax and cross-entropy functions in virtually all standard machine learning libraries (e.g., PyTorch and JAX). We show that these issues can be recovered through simple property-based tests in Hypothesis. However, our tests identify an additional edge case where their implementation fails. We then propose an even more robust softmax implementation which passes these tests and also supports use in causal attention masking. We compare our implementation with theirs and discuss some of the differences. Overall, this work shows that property-based testing can be a powerful tool for discovering and fixing numerical issues in machine learning libraries. Our implementations and property-based tests can be found at https://github.com/mmaaz-git/softmax-fix.
• Abstract（参考訳）: Barron et al (2026) の最近の論文では、ほぼすべての標準機械学習ライブラリ(例えば、PyTorch と JAX)において、ソフトマックスとクロスエントロピー関数に関する2つの数値的な問題を発見した。 これらの問題は、仮説の単純なプロパティベースのテストによって回収できることが示される。 しかし、我々のテストは、実装が失敗する追加のエッジケースを特定します。 次に、これらのテストに合格し、因果注意マスキングにおける使用をサポートする、より堅牢なソフトマックス実装を提案する。 実装を彼らと比較し、いくつかの違いについて議論する。 全体として、この研究は、プロパティベースのテストが機械学習ライブラリの数値問題を発見し、修正するための強力なツールであることを示している。 実装とプロパティベースのテストはhttps://github.com/mmaaz-git/softmax-fix.comで確認できます。

関連論文リスト

• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)
• Constraint-Guided Unit Test Generation for Machine Learning Libraries [8.883254370291256]
  PyTorchやtensorといった機械学習(ML)ライブラリは、幅広い現代的なアプリケーションに必須である。 テストを通じてMLライブラリの正しさを保証することが重要です。 本稿では,これらの制約を活用するためにPynguinテストジェネレータを改善するアプローチであるPynguinMLを提案する。
  論文  参考訳（メタデータ） (2025-10-10T08:02:15Z)
• How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective [51.30005925128432]
  LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T18:29:24Z)
• XAMT: Cross-Framework API Matching for Testing Deep Learning Libraries [6.00258665435786]
  ディープラーニングライブラリをテストするためのクロスフレームファジィファジィ手法であるXAMTを提案する。 XAMTは、名前、記述、パラメータ構造に基づく類似性ベースのルールを使用してAPIにマッチする。 その後、インプットを調整し、分散誘導テストを適用してバグを検出する。
  論文  参考訳（メタデータ） (2025-08-18T00:48:50Z)
• Benchmarking Predictive Coding Networks -- Made Simple [48.652114040426625]
  機械学習における予測符号化ネットワーク(PCN)の効率性とスケーラビリティの問題に取り組む。 そこで我々は,PCXと呼ばれる,パフォーマンスと簡易性を重視したライブラリを提案する。 我々は,PCNの既存アルゴリズムと,生物工学的な深層学習コミュニティで普及している他の手法を併用して,このようなベンチマークを広範囲に実施する。
  論文  参考訳（メタデータ） (2024-07-01T10:33:44Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Enhancing Differential Testing With LLMs For Testing Deep Learning Libraries [8.779035160734523]
  本稿では,DLライブラリのためのLLM強化差分試験手法を提案する。 与えられたAPIの代替実装を見つけ、多様なテストインプットを生成するという課題に対処する。 最先端技術で見られるAPIの1.84倍の数のAPIを合成する。
  論文  参考訳（メタデータ） (2024-06-12T07:06:38Z)
• torchgfn: A PyTorch GFlowNet library [44.94532429787822]
  我々は、このニーズに対処することを目的としたPyTorchライブラリであるTorchgfnを紹介します。 その中核的な貢献は、環境、ニューラルネットワークモジュールを扱い、目標を交換可能なコンポーネントとしてトレーニングするモジュールで分離されたアーキテクチャである。 これによってユーザは、高速なプロトタイピングと新しい研究を容易にする、シンプルだが強力なAPIをユーザに提供する。
  論文  参考訳（メタデータ） (2023-05-24T00:20:59Z)
• Test2Vec: An Execution Trace Embedding for Test Case Prioritization [12.624724734296342]
  テストケースの実行トレースは、自動テストタスクの振る舞いを抽象化するよい代替手段になり得る。 本稿では,テスト実行トレースを潜在空間にマッピングする新しい埋め込み手法Test2Vecを提案する。 結果より,提案したTPは,第1検体の平均正規化ランクを41.80%向上させることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T20:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。