論文の概要: Calc-X: Enriching Arithmetical Chain-of-Thoughts Datasets by Interaction
with Symbolic Systems
- arxiv url: http://arxiv.org/abs/2305.15017v1
- Date: Wed, 24 May 2023 10:58:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 16:45:01.005349
- Title: Calc-X: Enriching Arithmetical Chain-of-Thoughts Datasets by Interaction
with Symbolic Systems
- Title(参考訳): Calc-X:シンボリックシステムとの相互作用によるアリーメティック・チェーン・オブ・ソート・データセットの強化
- Authors: Marek Kadl\v{c}\'ik, Michal \v{S}tef\'anik
- Abstract要約: 本稿では,半構造化鎖を扱うための,機械処理可能なHTMLライクなフォーマットを提案する。
データセットをこの統一形式に変換することで、大きな言語モデルと記号システムの効果的な統合を可能にします。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This report overviews our ongoing work in enriching chain-of-thoughts
datasets requiring arithmetical reasoning with the integration of
non-parametric components, such as a calculator. We conduct an analysis of
prominent relevant datasets such as GSM8K, Ape210K, AQuA-RAT, and MathQA and
propose a machine-processable HTML-like format specifically tailored for
working with semi-structured chains. By converting the datasets into this
unified format, we enable the effective integration of large language models
and symbolic systems, empowering them to tackle arithmetical reasoning tasks
more efficiently.
- Abstract(参考訳): 本報告では,計算機などの非パラメトリックなコンポーネントの統合による算術的推論を必要とするチェーン・オブ・シークレット・データセットの強化について概説する。
我々は、GSM8K、Ape210K、AQuA-RAT、MathQAなどの重要な関連するデータセットを分析し、半構造化鎖を扱うのに適した、機械処理可能なHTMLライクなフォーマットを提案する。
データセットをこの統一形式に変換することで、大規模言語モデルと記号システムの効果的な統合を可能にし、算術的推論タスクをより効率的に扱えるようにします。
関連論文リスト
- Calc-CMU at SemEval-2024 Task 7: Pre-Calc -- Learning to Use the Calculator Improves Numeracy in Language Models [0.6599842398809415]
本稿では,エンコーダのみのアーキテクチャとエンコーダデコーダアーキテクチャの両方で計算機を利用するための,簡単な事前学習目的であるPre-Calcを提案する。
我々は,MAWPS,SVAMP,AsDiv-Aデータセットを用いて,識別計算機用BERTとRoBERTaを事前訓練し,生成計算機用Flan-T5を作成した。
論文 参考訳(メタデータ) (2024-04-22T17:07:25Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Scaling Data-Constrained Language Models [137.17302576977346]
データ制約付きシステムにおける言語モデルのスケーリングについて検討する。
固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。
本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
論文 参考訳(メタデータ) (2023-05-25T17:18:55Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳(メタデータ) (2023-03-24T17:56:22Z) - Enabling Calibration In The Zero-Shot Inference of Large Vision-Language
Models [58.720142291102135]
プロンプト、データセット、アーキテクチャといった関連する変数のキャリブレーションを測定し、CLIPによるゼロショット推論が誤校正されていることを見つけます。
学習した1つの温度は、推論データセットにまたがって特定のCLIPモデルごとに一般化され、選択が促される。
論文 参考訳(メタデータ) (2023-03-11T17:14:04Z) - An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。
以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
論文 参考訳(メタデータ) (2022-12-02T18:46:41Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳(メタデータ) (2022-07-21T07:35:18Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - QuantifyML: How Good is my Machine Learning Model? [0.0]
QuantifyMLは、機械学習モデルが与えられたデータから学習し、一般化した範囲を定量化することを目的としている。
この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。
論文 参考訳(メタデータ) (2021-10-25T01:56:01Z) - Efficient Inference via Universal LSH Kernel [35.22983601434134]
本稿では,単純なハッシュ計算と集約で推論手順を近似できる数列の簡潔な集合である,数学的に証明可能なRepresenter Sketchを提案する。
Representer Sketchは、カーネル文学から人気のあるRepresenter Theoremの上に構築されている。
本研究では,Representer Sketchによるストレージ要件の最大114倍,複雑性の最大59倍を精度の低下なく達成できることを示す。
論文 参考訳(メタデータ) (2021-06-21T22:06:32Z) - Berrut Approximated Coded Computing: Straggler Resistance Beyond
Polynomial Computing [34.69732430310801]
本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。
BACCは計算複雑性が低い数値的に安定であることが証明されている。
特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
論文 参考訳(メタデータ) (2020-09-17T14:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。