論文の概要: Reflection of Thought: Inversely Eliciting Numerical Reasoning in Language Models via Solving Linear Systems

• arxiv url: http://arxiv.org/abs/2210.05075v1
• Date: Tue, 11 Oct 2022 00:57:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 17:15:50.690180
• Title: Reflection of Thought: Inversely Eliciting Numerical Reasoning in Language Models via Solving Linear Systems
• Title（参考訳）: 思考の反映:線形システムによる言語モデルにおける数値推論の逆解
• Authors: Fan Zhou, Haoyu Dong, Qian Liu, Zhoujun Cheng, Shi Han, Dongmei Zhang
• Abstract要約: 本稿では,事前学習言語モデルに隠された数値推論知識を抽出し,活用するための新しい手法を提案する。 まず、単純な数値をアンカーとして利用して、暗黙的に推論された算術表現を言語モデルから探索する。 我々は、解析的に解決可能な線形システムとしてタスクを変換し、定式化する。
• 参考スコア（独自算出の注目度）: 42.782260686177395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerical reasoning over natural language has been a long-standing goal for the research community. However, cutting-edge language models have proven difficult to reliably generalize to a broad range of numbers, although they have shown proficiency in reasoning over common and simple numbers. In this paper, we propose a novel method to elicit and exploit the numerical reasoning knowledge hidden in pre-trained language models using simple anchor numbers. Concretely, we first leverage simple numbers as anchors to probe the implicitly inferred arithmetic expressions from language models, and then explicitly apply the expressions on complex numbers to get corresponding answers. To inversely elicit arithmetic expressions, we transform and formulate the task as an analytically solvable linear system. Experimental results on several numerical reasoning benchmarks demonstrate that our approach significantly improves numerical reasoning capabilities of existing LMs. More importantly, our approach is training-free and simply works in the inference phase, making it highly portable and achieving consistent performance benefits across a variety of language models (GPT-3, T5, BART, etc) in all zero-shot, few-shot, and fine-tuning scenarios.
• Abstract（参考訳）: 自然言語に対する数値推論は、研究コミュニティにとって長年の目標だった。 しかし、最先端の言語モデルは、一般的で単純な数に対する推論の習熟度を示したにもかかわらず、幅広い数に確実に一般化することは困難であることが証明されている。 本稿では,単純なアンカー数を用いて,事前学習言語モデルに隠された数値推論知識を抽出し,活用するための新しい手法を提案する。 具体的には、まず単純な数値をアンカーとして利用し、言語モデルから暗黙的に推論された算術表現を探索し、さらに複素数上の式を明示的に適用して対応する答えを得る。 逆算術式を求めるためには,解析的に解ける線形システムとしてタスクを変換・定式化する。 いくつかの数値推論ベンチマークの実験結果から,提案手法は既存のLMの数値推論能力を大幅に向上することが示された。 さらに重要なのは、トレーニングフリーで、単純に推論フェーズで動作するため、ゼロショット、少数ショット、微調整のシナリオすべてにおいて、さまざまな言語モデル(GPT-3、T5、BARTなど)で高いポータブル性と一貫したパフォーマンスのメリットを実現できます。

関連論文リスト

• modeLing: A Novel Dataset for Testing Linguistic Reasoning in Language Models [23.105555180223487]
  modeLingはLinguistics Olympiadスタイルのパズルの新しいベンチマークで、AIシステムで数発の推論をテストする。 我々は,大規模なオープンソース言語モデルとGPTをベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-06-24T18:00:59Z)
• Zero-Shot Question Answering over Financial Documents using Large Language Models [0.18749305679160366]
  我々は,財務報告に対するマルチホップ数値推論を必要とする複雑な問題に答えるために,大規模言語モデル(LLM)に基づくアプローチを導入する。 LLMを誘導する新しいゼロショットプロンプトを使用して、必要な推論をPythonプログラムやドメイン固有言語にエンコードします。
  論文  参考訳（メタデータ） (2023-11-19T16:23:34Z)
• Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data [10.124148115680315]
  本研究では,4つのレベルに10種類以上の推論型を持つ数値推論スキルのための階層型分類法を提案する。 我々は、それらに特有の推論課題を特定するために、最先端モデルの包括的評価を行う。 以上の結果から,すべての数値推論型に対してモデルが常に排他的でないことが示唆された。
  論文  参考訳（メタデータ） (2023-11-03T20:05:30Z)
• TRIGO: Benchmarking Formal Mathematical Proof Reduction for Generative Language Models [68.65075559137608]
  本稿では, ATP ベンチマーク TRIGO を提案する。このベンチマークでは, ステップバイステップの証明で三角法式を縮小するだけでなく, 論理式上で生成する LM の推論能力を評価する。 我々は、Webから三角法式とその縮小フォームを収集し、手作業で単純化プロセスに注釈を付け、それをリーン形式言語システムに翻訳する。 我々はLean-Gymに基づく自動生成装置を開発し、モデルの一般化能力を徹底的に分析するために、様々な困難と分布のデータセット分割を作成する。
  論文  参考訳（メタデータ） (2023-10-16T08:42:39Z)
• FERMAT: An Alternative to Accuracy for Numerical Reasoning [11.893004722079557]
  数値推論は、既存のデータセットの単一スコアを用いて測定される。 我々は、FERMATと呼ばれる、英語の数値推論のための多視点評価セットを導入する。 FerMATは、数理解、数学的操作、訓練依存など、様々な重要な数値推論の側面でモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-27T15:00:45Z)
• Learning to Reason With Relational Abstractions [65.89553417442049]
  関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-06T00:27:50Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks [37.730939229638224]
  8つのタスクでAIシステムの性能を評価するベンチマークであるNumGLUEを提案する。 このベンチマークは、最先端の大規模言語モデルを含むニューラルモデルで解決されるには程遠い。 我々はNumGLUEが言語内で堅牢で一般的な算術推論を行うシステムを促進することを願っている。
  論文  参考訳（メタデータ） (2022-04-12T09:36:10Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。