論文の概要: Arithmetic with Language Models: from Memorization to Computation

• arxiv url: http://arxiv.org/abs/2308.01154v3
• Date: Wed, 6 Mar 2024 09:39:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 18:13:17.471037
• Title: Arithmetic with Language Models: from Memorization to Computation
• Title（参考訳）: 言語モデルを用いた算術:記憶から計算へ
• Authors: Davide Maltoni and Matteo Ferrara
• Abstract要約: 本研究は、次のトークンを予測するために訓練された言語モデルが、トレーニングデータを超えて一般化された算術演算を実行する方法を検討する。 我々はこれらのタスクを学ぶために軽言語モデルを訓練し、外挿能力と内部情報処理を調べるために多くの実験を行った。
• 参考スコア（独自算出の注目度）: 3.635857207402894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A better understanding of the emergent computation and problem-solving capabilities of recent large language models is of paramount importance to further improve them and broaden their applicability. This work investigates how a language model, trained to predict the next token, can perform arithmetic computations generalizing beyond training data. Binary addition and multiplication constitute a good testbed for this purpose, since they require a very small vocabulary and exhibit relevant input/output discontinuities making smooth input interpolation ineffective for novel data. We successfully trained a light language model to learn these tasks and ran a number of experiments to investigate the extrapolation capabilities and internal information processing. Our findings support the hypothesis that the language model works as an Encoding-Regression-Decoding machine where the computation takes place in the value space once the input token representation is mapped to an appropriate internal representation.
• Abstract（参考訳）: 最近の大規模言語モデルの創発的な計算と問題解決能力をよりよく理解することは、それらをさらに改善し、その適用性を広げるために最も重要なことです。 本研究は、次のトークンを予測するために訓練された言語モデルが、トレーニングデータを超えて一般化された算術演算を実行する方法を検討する。 バイナリの追加と乗算は、非常に小さな語彙を必要とするため、新しいデータに対してスムーズな入力補間を行うのに有効な入力/出力の不連続性を示すため、この目的のために良いテストベッドを構成する。 我々はこれらのタスクを学習するために軽量言語モデルをトレーニングし、外挿能力と内部情報処理を調査するために多くの実験を行った。 本研究は,入力トークン表現が適切な内部表現にマッピングされると,値空間内で計算が行われるエンコーディング・レグレッション・デコーディングマシンとして言語モデルが動作するという仮説を支持する。

関連論文リスト

• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  大規模言語モデル(LLM)は、実際に目に見えないタスクに一般化するか、大量の事前学習データを記憶することに依存するかという議論を引き起こしている。 本稿では,LLMの出力確率と事前学習データ頻度との相関を計測する,メモリ化,分散メモリ化という拡張された概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 暗記がより大きな役割を果たすことを示した。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Computational Models to Study Language Processing in the Human Brain: A Survey [47.81066391664416]
  本稿では,脳研究における計算モデルの利用の取り組みを概観し,新たな傾向を浮き彫りにしている。 我々の分析によると、すべてのデータセットで他のモデルよりも優れているモデルはない。
  論文  参考訳（メタデータ） (2024-03-20T08:01:22Z)
• Fine-Tune Language Models as Multi-Modal Differential Equation Solvers [14.181842691371935]
  本稿では,コンテキスト内演算子の学習をマルチモーダルパラダイムに変換する。 特に,近年の大規模言語モデルの成功からインスピレーションを得て,演算子に関する人間の知識を統合するために「カプセル」の使用を提案する。
  論文  参考訳（メタデータ） (2023-08-09T16:44:25Z)
• Small Language Models for Tabular Data [0.0]
  分類と回帰の問題に対処する深層表現学習の能力を示す。 小型モデルは様々な関数の近似に十分なキャパシティを持ち、記録分類ベンチマークの精度を実現する。
  論文  参考訳（メタデータ） (2022-11-05T16:57:55Z)
• Overcoming Barriers to Skill Injection in Language Modeling: Case Study in Arithmetic [14.618731441943847]
  我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。 具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
  論文  参考訳（メタデータ） (2022-11-03T18:53:30Z)
• Actuarial Applications of Natural Language Processing Using Transformers: Case Studies for Using Text Features in an Actuarial Context [0.0]
  このチュートリアルは、テキストデータをアクチュアリ分類と回帰タスクに組み込むことを実証する。 主な焦点はトランスフォーマーモデルを用いた手法である。 このケーススタディは、多言語設定と長い入力シーケンスに関連する課題に取り組む。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。