論文の概要: Meta-Reasoning: Semantics-Symbol Deconstruction For Large Language Models

• arxiv url: http://arxiv.org/abs/2306.17820v1
• Date: Fri, 30 Jun 2023 17:38:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 11:37:23.926410
• Title: Meta-Reasoning: Semantics-Symbol Deconstruction For Large Language Models
• Title（参考訳）: メタ推論:大規模言語モデルのための意味論的シンボリックデコンストラクション
• Authors: Yiming Wang, Zhuosheng Zhang, Rui Wang
• Abstract要約: 我々は,LLMが意味記号のデコンストラクションを自動的に達成できるtextbfMeta-Reasoningを提案する。 実験の結果,メタ推論パラダイムはLLMの推論性能を良好に向上し,実演回数が少なくなった。
• 参考スコア（独自算出の注目度）: 35.181659789684545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolization methods in large language models (LLMs) have been shown effective to improve LLMs' reasoning ability. However, most of these approaches hinge on mapping natural languages to formal languages (e.g., Python, SQL) that are more syntactically complete and free of ambiguity. Although effective, they depart from the natural language itself and deviate from the habits of human thinking, and instead cater more to the execution mindset of computers. In contrast, we hope to simplify natural language by starting from the concept of symbols in linguistics itself, so that LLMs can learn the common formulation and general solution of reasoning problems wrapped in different natural semantics. From this consideration, we propose \textbf{Meta-Reasoning}, which allows LLMs to automatically accomplish semantic-symbol deconstruction, i.e., semantic resolution, to maximally reduce different questions of certain reasoning tasks to similar natural language representation, thus gaining the ability to learn by analogy and facilitating data-efficient in-context learning. Our experiments show that the Meta-Reasoning paradigm saliently enhances LLMs' reasoning performance with fewer demonstrations. They can learn not only reasoning chains but also general solutions to certain types of tasks. In particular, for symbolic reasoning tasks, such as 7-step Tracking Shuffled Objects, GPT-3 (text-davinci-002) achieves over 99% accuracy with only one Meta-Reasoning demonstration, outperforming all current LLMs with the standard chain-of-thought prompting.
• Abstract（参考訳）: 大規模言語モデル(LLM)における記号化手法は,LLMの推論能力の向上に有効であることが示されている。 しかし、これらのアプローチのほとんどは、構文的に完全であいまいさのない形式言語(python、sqlなど)への自然言語マッピングにかかっている。 効果的ではあるが、それらは自然言語そのものから離れ、人間の思考の習慣から逸脱し、コンピュータの実行マインドセットにより多くの力を注ぐ。 対照的に、言語学における記号の概念から始めることで自然言語を単純化し、LLMが様々な自然意味論でラップされた推論問題の共通の定式化と一般的な解を学べるようにしたい。 そこで本研究では,LLMが意味記号のデコンストラクション,すなわち意味分解を自動で達成し,特定の推論タスクの異なる質問を類似した自然言語表現に最大に還元し,類似によって学習し,データ効率のよいインコンストラクション学習を円滑に行えるようにすることを提案する。 実験の結果,メタ推論パラダイムはLLMの推論性能を著しく向上し,実演数が少なくなった。 彼らは推論連鎖だけでなく、ある種のタスクに対する一般的な解も学べる。 特に 7-step Tracking Shuffled Objects のようなシンボリック推論タスクでは、GPT-3 (text-davinci-002) は1つのMeta-Reasoning デモで 99% 以上の精度を達成し、すべての現在の LLM を標準チェーンのプロンプトで上回っている。

関連論文リスト

• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Improved Logical Reasoning of Language Models via Differentiable Symbolic Programming [12.984852480664378]
  事前訓練された大規模言語モデル(LM)は、スケールと構成性の進歩にもかかわらず、論理的推論を確実に行うのに苦労する。 本稿では,DSR-LMを提案する。DSR-LMは,事前学習したLMが事実知識の認識を制御し,帰納的推論を行う,微分可能なシンボリック推論フレームワークである。
  論文  参考訳（メタデータ） (2023-05-05T07:24:46Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• Learning to refer informatively by amortizing pragmatic reasoning [35.71540493379324]
  我々は、話者が時間とともに合理的な音声行為のコストを減らそうとするアイデアを探求する。 我々のアモータライズされたモデルは、様々な文脈で効果的かつ簡潔な言語を迅速に生成できることがわかりました。
  論文  参考訳（メタデータ） (2020-05-31T02:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。