論文の概要: Towards Learning to Reason: Comparing LLMs with Neuro-Symbolic on Arithmetic Relations in Abstract Reasoning

• arxiv url: http://arxiv.org/abs/2412.05586v1
• Date: Sat, 07 Dec 2024 08:45:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:56:32.255832
• Title: Towards Learning to Reason: Comparing LLMs with Neuro-Symbolic on Arithmetic Relations in Abstract Reasoning
• Title（参考訳）: 推論への学習に向けて--抽象推論における算術的関係に関するLLMとニューロ・シンボリックの比較
• Authors: Michael Hersche, Giacomo Camposampiero, Roger Wattenhofer, Abu Sebastian, Abbas Rahimi,
• Abstract要約: この研究は、Ravenのプログレッシブ行列(RPM)の解法における大規模言語モデル(LLM)とニューロシンボリックアプローチを比較する。 解析の結果,算術規則の理解と実行におけるLLMの弱点に根本原因があることが判明した。 我々はARLCがI-RAVENの中心星座でほぼ完全な精度を達成し、算術規則における高い忠実性を示すことを発見した。
• 参考スコア（独自算出の注目度）: 20.72570252804897
• License:
• Abstract: This work compares large language models (LLMs) and neuro-symbolic approaches in solving Raven's progressive matrices (RPM), a visual abstract reasoning test that involves the understanding of mathematical rules such as progression or arithmetic addition. Providing the visual attributes directly as textual prompts, which assumes an oracle visual perception module, allows us to measure the model's abstract reasoning capability in isolation. Despite providing such compositionally structured representations from the oracle visual perception and advanced prompting techniques, both GPT-4 and Llama-3 70B cannot achieve perfect accuracy on the center constellation of the I-RAVEN dataset. Our analysis reveals that the root cause lies in the LLM's weakness in understanding and executing arithmetic rules. As a potential remedy, we analyze the Abductive Rule Learner with Context-awareness (ARLC), a neuro-symbolic approach that learns to reason with vector-symbolic architectures (VSAs). Here, concepts are represented with distributed vectors s.t. dot products between encoded vectors define a similarity kernel, and simple element-wise operations on the vectors perform addition/subtraction on the encoded values. We find that ARLC achieves almost perfect accuracy on the center constellation of I-RAVEN, demonstrating a high fidelity in arithmetic rules. To stress the length generalization capabilities of the models, we extend the RPM tests to larger matrices (3x10 instead of typical 3x3) and larger dynamic ranges of the attribute values (from 10 up to 1000). We find that the LLM's accuracy of solving arithmetic rules drops to sub-10%, especially as the dynamic range expands, while ARLC can maintain a high accuracy due to emulating symbolic computations on top of properly distributed representations. Our code is available at https://github.com/IBM/raven-large-language-models.
• Abstract（参考訳）: この研究は、Ravenのプログレッシブ行列(RPM)を解くための大きな言語モデル(LLM)とニューロシンボリックアプローチ(英語版)を比較した。 視覚的属性を直接テキストのプロンプトとして提供することで、オラクルの視覚知覚モジュールを前提とすることで、モデルの抽象的推論能力を独立して測定することが可能になります。 GPT-4とLlama-370Bは、オラクルの視覚知覚と高度なプロンプト技術から構成的に構造化された表現を提供するが、I-RAVENデータセットの中心の星座では完全な精度を達成できない。 解析の結果,算術規則の理解と実行におけるLLMの弱点に根本原因があることが判明した。 潜在的な治療法として,ベクトルシンボリックアーキテクチャ(VSAs)による推論を学習する神経シンボリックアプローチであるARLC(Abductive Rule Learner with Context-Awareness)を分析した。 ここで、概念は、符号化ベクトル間の分散ベクトル s.t.ドット積で表され、類似性カーネルを定義し、ベクトル上の単純要素演算は符号化された値に対して加算/減算を行う。 我々はARLCがI-RAVENの中心星座でほぼ完全な精度を達成し、算術規則における高い忠実性を示すことを発見した。 モデル長一般化能力を強調するため、RPM試験を通常の3x3の代わりに3x10の大きい行列に拡張し、属性値のダイナミックレンジを10から1000まで拡大する。 LLMの算術規則の解法精度は、特に動的範囲が拡大するにつれて10%以下に低下し、一方ARLCは、適切に分散された表現の上にシンボル計算をエミュレートすることにより、高い精度を維持することができる。 私たちのコードはhttps://github.com/IBM/raven-large-lang-models.comで利用可能です。

関連論文リスト

• Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures [3.181878085746691]
  大型言語モデル (LLM) は顕著な数学的能力を示しており、主にチェーン・オブ・シント (CoT) のプロンプトによって駆動されている。 本稿では,emphCommutativity やemphIdentity などの代数的構造を捉えることによって,LLM が算術を学習することを提案する。 この結果から,代数的構造を活用することでLLMの算術的能力が向上し,算術的性能向上への洞察が得られた。
  論文  参考訳（メタデータ） (2024-11-25T10:23:11Z)
• Towards Learning Abductive Reasoning using VSA Distributed Representations [56.31867341825068]
  本稿では,文脈認識モデルを用いた帰納的ルール学習手法を提案する。 ARLCは、誘引的推論のための、新しくより広く適用可能な訓練目標を特徴としている。 プログラムされた知識の上に実例から漸進的に学習することで,ARLCのポストプログラミングトレーニングに対する堅牢性を示す。
  論文  参考訳（メタデータ） (2024-06-27T12:05:55Z)
• LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
  我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。 我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。 我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
  論文  参考訳（メタデータ） (2024-05-23T11:05:42Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures [22.12114509953737]
  抽象推論は人間の知性の基礎であり、それを人工知能(AI)で複製することは、現在進行中の課題である。 本研究では,抽象的推論能力を評価する視覚的テストであるRaven's Progress matrices (RPM) を効率的に解くことに焦点を当てた。 RPMに関連するルール定式化をハードコーディングする代わりに、トレーニングデータに1回だけ通すだけでVSAルール定式化を学習することができる。
  論文  参考訳（メタデータ） (2024-01-29T10:17:18Z)
• Semantic Graph Representation Learning for Handwritten Mathematical Expression Recognition [57.60390958736775]
  セマンティック・インタラクション・ラーニング(SIL)の簡易かつ効率的な手法を提案する。 まず,統計的シンボル共起確率に基づく意味グラフを構築する。 次に、視覚的および分類的特徴を意味空間に投影する意味認識モジュール(SAM)を設計する。 本手法は, CROHMEとHME100Kの両方のデータセットにおいて, 先行技術よりも優れた認識性能を実現する。
  論文  参考訳（メタデータ） (2023-08-21T06:23:41Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
  既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。 反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。 我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
  論文  参考訳（メタデータ） (2021-10-28T16:12:33Z)
• Learning with Holographic Reduced Representations [28.462635977110413]
  Holographic Reduced Representations (HRR)は、実数値ベクトル上でシンボリックAIを実行する方法である。 本稿では,ハイブリッド型ニューラルシンボリック・アプローチが学習に有効かどうかを理解するために,このアプローチを再考する。
  論文  参考訳（メタデータ） (2021-09-05T19:37:34Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。