論文の概要: Calc-X and Calcformers: Empowering Arithmetical Chain-of-Thought through Interaction with Symbolic Systems

• arxiv url: http://arxiv.org/abs/2305.15017v2
• Date: Mon, 23 Oct 2023 15:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 11:15:42.671928
• Title: Calc-X and Calcformers: Empowering Arithmetical Chain-of-Thought through Interaction with Symbolic Systems
• Title（参考訳）: Calc-X と Calcformers:シンボリックシステムとの相互作用による算術的連鎖の強化
• Authors: Marek Kadl\v{c}\'ik, Michal \v{S}tef\'anik, Ond\v{r}ej Sotol\'a\v{r}, Vlastimil Martinek
• Abstract要約: Calc-Xは、連鎖推論における計算機の適切な使用を示すデータセットの集合である。 Calc-Xは、シンボルシステムに計算をオフロードする言語モデルを教えるのに適している。 新しいCalc-Xコレクションを使用して、Calcformersと呼ばれるオープンソースの電卓使用モデルをトレーニングしています。
• 参考スコア（独自算出の注目度）: 2.867517731896504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite outstanding performance in many tasks, language models are notoriously inclined to make factual errors in tasks requiring arithmetic computation. We address this deficiency by creating Calc-X, a collection of datasets that demonstrates the appropriate use of a calculator in reasoning chains. Calc-X is suitable for teaching language models to offload computations to a symbolic system. We survey and unify several existing chain-of-thought datasets into a proposed format, resulting in a standard collection of over 300,000 samples requiring arithmetic reasoning. Finally, we use the new Calc-X collection to train open-source calculator-using models we call Calcformers and show that these models approximately double the accuracy of generating correct results compared to vanilla language model baselines. We make all Calc-X datasets, source code and Calcformers models publicly available.
• Abstract（参考訳）: 多くのタスクにおける優れたパフォーマンスにもかかわらず、言語モデルは算術演算を必要とするタスクにおいて事実的誤りを犯す傾向にある。 この欠陥に対処するために、連鎖推論における計算機の適切な使用を示すデータセットの集合であるCalc-Xを作成する。 Calc-Xは、シンボルシステムに計算をオフロードする言語モデルを教えるのに適している。 既存のチェーン・オブ・シークレット・データセットを探索し、提案フォーマットに統一し、30,000以上のサンプルの標準収集を行う。 最後に、新しいCalc-Xコレクションを使用して、私たちがCalcformersと呼ぶオープンソースの計算モデルをトレーニングし、これらのモデルがバニラ言語モデルのベースラインと比べて正しい結果を生成する精度のおよそ2倍の精度を示す。 すべてのCalc-Xデータセット、ソースコード、Calcformersモデルを公開しています。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning [54.70811660561151]
  既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。 モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。 提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:37Z)
• Jet Expansions of Residual Computation [25.842534423280185]
  本稿では,ジェットを用いた残差計算グラフの拡張フレームワークを提案する。 提案手法は,様々な計算経路のコントリビューションを解き散らし,予測をモデル化するための体系的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-08T13:25:08Z)
• Pre-Calc: Learning to Use the Calculator Improves Numeracy in Language Models [0.6599842398809415]
  本稿では,エンコーダのみのアーキテクチャとエンコーダデコーダアーキテクチャの両方で計算機を利用するための,簡単な事前学習目的であるPre-Calcを提案する。 我々は,MAWPS,SVAMP,AsDiv-Aデータセットを用いて,識別計算機用BERTとRoBERTaを事前訓練し,生成計算機用Flan-T5を作成した。
  論文  参考訳（メタデータ） (2024-04-22T17:07:25Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Scaling Data-Constrained Language Models [137.17302576977346]
  データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T17:18:55Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• QuantifyML: How Good is my Machine Learning Model? [0.0]
  QuantifyMLは、機械学習モデルが与えられたデータから学習し、一般化した範囲を定量化することを目的としている。 この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。
  論文  参考訳（メタデータ） (2021-10-25T01:56:01Z)
• Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
  本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2020-09-17T14:23:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。