論文の概要: The Impact of Symbolic Representations on In-context Learning for
Few-shot Reasoning
- arxiv url: http://arxiv.org/abs/2212.08686v1
- Date: Fri, 16 Dec 2022 19:30:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 16:02:50.068493
- Title: The Impact of Symbolic Representations on In-context Learning for
Few-shot Reasoning
- Title(参考訳): ファウショット推論における記号表現が文脈内学習に及ぼす影響
- Authors: Hanlin Zhang, Yi-Fan Zhang, Li Erran Li, Eric Xing
- Abstract要約: 論理プログラマとしての言語モデル(LMLP)は、論理規則とそれに対応する例を含む実演から学習し、知識ベース(KB)を反復的に理由づける。
実験により、LMLPはパラメータが少なくても長さ一般化ベンチマークでCoTよりも25%以上精度が高いことがわかった。
- 参考スコア(独自算出の注目度): 14.717238616181353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained language models (LMs) have shown remarkable reasoning performance
using explanations (or ``chain-of-thought'' (CoT)) for in-context learning. On
the other hand, these reasoning tasks are usually presumed to be more
approachable for symbolic programming. To make progress towards understanding
in-context learning, we curate synthetic datasets containing equivalent
(natural, symbolic) data pairs, where symbolic examples contain first-order
logic rules and predicates from knowledge bases (KBs). Then we revisit
neuro-symbolic approaches and use Language Models as Logic Programmer (LMLP)
that learns from demonstrations containing logic rules and corresponding
examples to iteratively reason over KBs, recovering Prolog's backward chaining
algorithm. Comprehensive experiments are included to systematically compare
LMLP with CoT in deductive reasoning settings, showing that LMLP enjoys more
than 25% higher accuracy than CoT on length generalization benchmarks even with
fewer parameters.
- Abstract(参考訳): 事前学習言語モデル(LM)は、文脈内学習のための説明(または '`chain-of- Thought'' (CoT))を用いて、顕著な推論性能を示した。
一方、これらの推論タスクは通常、シンボリックプログラミングにもっと近づきやすいと仮定される。
文脈内学習の理解を進めるために,記号例は一階述語論理規則と知識ベース(kbs)からの述語を含む,等価な(自然な,象徴的な)データペアを含む合成データセットをキュレーションする。
次に,論理規則とそれに対応する例を含むデモンストレーションから学習し,kbs上で反復的に推論し,prologの後方連鎖アルゴリズムを回復する論理プログラマ(lmlp)として,神経シンボリックアプローチを再検討する。
帰納的推論設定において, LMLPとCoTを体系的に比較する総合的な実験を行い, パラメータが少ない場合でも, LMLPはCoTよりも25%以上精度が高いことを示した。
関連論文リスト
- LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳(メタデータ) (2023-09-24T05:43:19Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳(メタデータ) (2023-06-21T07:34:27Z) - Improved Logical Reasoning of Language Models via Differentiable
Symbolic Programming [12.984852480664378]
事前訓練された大規模言語モデル(LM)は、スケールと構成性の進歩にもかかわらず、論理的推論を確実に行うのに苦労する。
本稿では,DSR-LMを提案する。DSR-LMは,事前学習したLMが事実知識の認識を制御し,帰納的推論を行う,微分可能なシンボリック推論フレームワークである。
論文 参考訳(メタデータ) (2023-05-05T07:24:46Z) - Learning First-Order Rules with Differentiable Logic Program Semantics [12.360002779872373]
微分型一階規則学習者(DFOL)と呼ばれる微分型帰納的論理プログラミングモデルを導入する。
DFOLは、LPの解釈可能な行列表現を探索することにより、関係事実から正しいLPを見つける。
実験結果から,DFOLは精度が高く,堅牢で,スケーラブルで,安価で微分可能なICPモデルであることが示唆された。
論文 参考訳(メタデータ) (2022-04-28T15:33:43Z) - MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。
2つの新しい戦略が我々の手法の必須要素である。
論文 参考訳(メタデータ) (2022-03-01T11:13:00Z) - Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。
他のものと比較して、LNNは古典的なブール論理と強く結びついている。
標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
論文 参考訳(メタデータ) (2021-12-06T19:38:30Z) - Logic-Driven Context Extension and Data Augmentation for Logical
Reasoning of Text [65.24325614642223]
論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。
このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。
本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
論文 参考訳(メタデータ) (2021-05-08T10:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。