Fugu-MT 論文翻訳(概要): Calc-X: Enriching Arithmetical Chain-of-Thoughts Datasets by Interaction with Symbolic Systems

論文の概要: Calc-X: Enriching Arithmetical Chain-of-Thoughts Datasets by Interaction with Symbolic Systems

arxiv url: http://arxiv.org/abs/2305.15017v1
Date: Wed, 24 May 2023 10:58:20 GMT
ステータス: 処理完了
システム内更新日: 2023-05-25 16:45:01.005349
Title: Calc-X: Enriching Arithmetical Chain-of-Thoughts Datasets by Interaction with Symbolic Systems
Title（参考訳）: Calc-X:シンボリックシステムとの相互作用によるアリーメティック・チェーン・オブ・ソート・データセットの強化
Authors: Marek Kadl\v{c}\'ik, Michal \v{S}tef\'anik
Abstract要約: 本稿では,半構造化鎖を扱うための,機械処理可能なHTMLライクなフォーマットを提案する。データセットをこの統一形式に変換することで、大きな言語モデルと記号システムの効果的な統合を可能にします。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This report overviews our ongoing work in enriching chain-of-thoughts datasets requiring arithmetical reasoning with the integration of non-parametric components, such as a calculator. We conduct an analysis of prominent relevant datasets such as GSM8K, Ape210K, AQuA-RAT, and MathQA and propose a machine-processable HTML-like format specifically tailored for working with semi-structured chains. By converting the datasets into this unified format, we enable the effective integration of large language models and symbolic systems, empowering them to tackle arithmetical reasoning tasks more efficiently.
Abstract（参考訳）: 本報告では,計算機などの非パラメトリックなコンポーネントの統合による算術的推論を必要とするチェーン・オブ・シークレット・データセットの強化について概説する。我々は、GSM8K、Ape210K、AQuA-RAT、MathQAなどの重要な関連するデータセットを分析し、半構造化鎖を扱うのに適した、機械処理可能なHTMLライクなフォーマットを提案する。データセットをこの統一形式に変換することで、大規模言語モデルと記号システムの効果的な統合を可能にし、算術的推論タスクをより効率的に扱えるようにします。

関連論文リスト

Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文参考訳（メタデータ） (2024-11-01T21:11:48Z)
ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning [54.70811660561151]
既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
論文参考訳（メタデータ） (2024-10-24T18:02:37Z)
Jet Expansions of Residual Computation [25.842534423280185]
本稿では,ジェットを用いた残差計算グラフの拡張フレームワークを提案する。提案手法は,様々な計算経路のコントリビューションを解き散らし,予測をモデル化するための体系的なアプローチを提供する。
論文参考訳（メタデータ） (2024-10-08T13:25:08Z)
Pre-Calc: Learning to Use the Calculator Improves Numeracy in Language Models [0.6599842398809415]
本稿では,エンコーダのみのアーキテクチャとエンコーダデコーダアーキテクチャの両方で計算機を利用するための,簡単な事前学習目的であるPre-Calcを提案する。我々は,MAWPS,SVAMP,AsDiv-Aデータセットを用いて,識別計算機用BERTとRoBERTaを事前訓練し,生成計算機用Flan-T5を作成した。
論文参考訳（メタデータ） (2024-04-22T17:07:25Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Scaling Data-Constrained Language Models [137.17302576977346]
データ制約付きシステムにおける言語モデルのスケーリングについて検討する。固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
論文参考訳（メタデータ） (2023-05-25T17:18:55Z)
TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文参考訳（メタデータ） (2023-03-24T17:56:22Z)
An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
論文参考訳（メタデータ） (2022-12-02T18:46:41Z)
Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文参考訳（メタデータ） (2022-01-08T00:47:50Z)
QuantifyML: How Good is my Machine Learning Model? [0.0]
QuantifyMLは、機械学習モデルが与えられたデータから学習し、一般化した範囲を定量化することを目的としている。この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。
論文参考訳（メタデータ） (2021-10-25T01:56:01Z)
Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
論文参考訳（メタデータ） (2020-09-17T14:23:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。