論文の概要: Int2Int: a framework for mathematics with transformers
- arxiv url: http://arxiv.org/abs/2502.17513v2
- Date: Mon, 24 Mar 2025 19:11:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:50:50.146457
- Title: Int2Int: a framework for mathematics with transformers
- Title(参考訳): Int2Int: 変圧器を用いた数学のフレームワーク
- Authors: François Charton,
- Abstract要約: Int2Intは、トランスフォーマーアーキテクチャの完全なPyTorch実装である。
本稿では,Int2Intの主な機能について紹介し,ユーザマニュアルとして機能し,拡張方法に関するガイドラインを提供する。
- 参考スコア(独自算出の注目度): 8.430481660019451
- License:
- Abstract: This paper documents Int2Int, an open source code base for using transformers on problems of mathematical research, with a focus on number theory and other problems involving integers. Int2Int is a complete PyTorch implementation of a transformer architecture, together with training and evaluation loops, and classes and functions to represent, generate and decode common mathematical objects. Ancillary code for data preparation, and Jupyter Notebooks for visualizing experimental results are also provided. This document presents the main features of Int2Int, serves as its user manual, and provides guidelines on how to extend it. Int2Int is released under the MIT licence, at https://github.com/f-charton/Int2Int.
- Abstract(参考訳): Int2Intは、数論やその他の整数問題に焦点をあて、数学的研究の課題にトランスフォーマーを使うためのオープンソースのコードベースである。
Int2Intは、トレーニングと評価ループ、一般的な数学的オブジェクトを表現、生成、デコードするためのクラスと関数とともに、トランスフォーマーアーキテクチャの完全なPyTorch実装である。
データ準備の補助コードと実験結果を視覚化するJupyter Notebookも提供される。
この文書はInt2Intの主な機能を示し、ユーザーマニュアルとして機能し、それを拡張するためのガイドラインを提供する。
Int2IntはMITライセンスのもと、https://github.com/f-charton/Int2Intでリリースされた。
関連論文リスト
- MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code [38.127313175508746]
本稿では, 継続事前学習のための推論ステップを伴って, 数学的コードを生成する新しい手法を提案する。
私たちのアプローチは、高品質な数学的継続事前学習データセットの構築から始まります。
生成されたコードを推論ステップ毎に適用すると、ペアの自然言語推論ステップとその対応するコードからなるデータが得られる。
論文 参考訳(メタデータ) (2024-10-10T17:58:40Z) - Transformers Can Do Arithmetic with the Right Embeddings [75.66545271398704]
算術演算における変換器の性能向上について述べる。
たった20桁の数値で1日1GPUでトレーニングすれば、最先端のパフォーマンスに到達できます。
これらの数的増加は、ソートや乗算を含む他の多段階の推論タスクの改善を解放する。
論文 参考訳(メタデータ) (2024-05-27T17:49:18Z) - MuMath-Code: Combining Tool-Use Large Language Models with Multi-perspective Data Augmentation for Mathematical Reasoning [11.426127461122908]
この研究には、マルチパースペクティブなデータ拡張手法による新しい数学の質問が含まれ、その上でコードネストされたソリューションを合成する。
外部Pythonインタプリタと統合したオープン大言語モデル(LLM)は、数学的推論能力を大幅に強化した。
ステージ1では、純粋なCoTデータに基づいてLlama-2を微調整し、中間モデルを取得し、ステージ2のコードネストデータに基づいてトレーニングし、結果のMuMath-Codeを得る。
論文 参考訳(メタデータ) (2024-05-13T08:32:19Z) - Cryptomite: A versatile and user-friendly library of randomness extractors [0.0]
ランダム性抽出実装のPythonライブラリであるCryptomiteを提示する。
このライブラリは、パラメータ計算モジュールとともに、2つのソース、シード、決定論的ランダムネス抽出器を提供する。
抽出器の実装は、実際は効率的であり、最大240>1012$ビットの入力サイズを許容する。
論文 参考訳(メタデータ) (2024-02-13T17:51:04Z) - TorchProbe: Fuzzing Dynamic Deep Learning Compilers [9.324205843411352]
PyTorch 2.0はPythonで任意のディープラーニングプログラムのコンパイルをサポートする。
動的特徴を含むテストケースを生成するためのコード変換を提案する。
我々は、PyTorchコンパイラとその基盤となるテンソルコンパイラTritonの20の既知のバグを特定した。
論文 参考訳(メタデータ) (2023-10-30T23:20:47Z) - MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical
Reasoning [52.97768001837269]
本稿では,オープンソース言語モデルを微調整する手法を提案する。
本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。
このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
論文 参考訳(メタデータ) (2023-10-05T17:52:09Z) - TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D
Salient Object Detection [86.94578023985677]
本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。
具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。
7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
論文 参考訳(メタデータ) (2021-12-04T15:45:34Z) - BARTScore: Evaluating Generated Text as Text Generation [89.50052670307434]
我々は、事前学習されたシーケンス・ツー・シーケンスモデルを用いてモデル化されたテキスト生成問題として、生成されたテキストの評価を概念化する。
我々は、エンコーダ-デコーダベースの事前学習モデルであるBARTを用いて、このアイデアを運用する。
本稿では,様々な視点からテキストの評価に柔軟に適用可能な,数多くの変種を持つメトリクスBARTScoreを提案する。
論文 参考訳(メタデータ) (2021-06-22T03:20:53Z) - I-BERT: Integer-only BERT Quantization [78.43819756382103]
トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。
I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。
いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
論文 参考訳(メタデータ) (2021-01-05T02:42:58Z) - SacreROUGE: An Open-Source Library for Using and Developing
Summarization Evaluation Metrics [74.28810048824519]
SacreROUGEは、要約評価メトリクスの使用と開発のためのオープンソースライブラリである。
このライブラリは、既存の評価メトリクスの公式実装に関するPythonラッパーを提供する。
ライブラリに実装されたメトリックが、人間による注釈付き判断とどの程度の相関があるかを評価する機能を提供する。
論文 参考訳(メタデータ) (2020-07-10T13:26:37Z) - Signatory: differentiable computations of the signature and logsignature
transforms, on both CPU and GPU [13.503274710499971]
Signatoryは、シグネチャおよびログシグネチャ変換に関連する機能を計算し、実行するライブラリである。
これは、効率的な事前計算戦略など、以前のライブラリでは利用できない新機能を実装している。
ライブラリはC++のPythonラッパーとして動作し、PyTorchエコシステムと互換性がある。
論文 参考訳(メタデータ) (2020-01-03T03:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。