論文の概要: Rethinking Reasoning in LLMs: Neuro-Symbolic Local RetoMaton Beyond ICL and CoT

• arxiv url: http://arxiv.org/abs/2508.19271v1
• Date: Fri, 22 Aug 2025 16:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.33174
• Title: Rethinking Reasoning in LLMs: Neuro-Symbolic Local RetoMaton Beyond ICL and CoT
• Title（参考訳）: LLMにおける推論の再考--ICLとCoTを超えた神経-シンボリック局所リトマトン
• Authors: Rushitha Santhoshi Mamidala, Anshuman Chhabra, Ankur Mali,
• Abstract要約: グローバルなデータストアをローカルなタスク適応重み付き有限オートマトンに置き換えることで、RetoMatonを拡張します。 この局所オートマトン構造は、シンボルトレーサビリティと低推論オーバーヘッドを維持しながら、堅牢でコンテキスト対応の検索を促進する。 我々の結果は、現代言語モデルにおける信頼できる象徴的な推論への有望なシフトを浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 8.06437018518246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based reasoning strategies such as Chain-of-Thought (CoT) and In-Context Learning (ICL) have become widely used for eliciting reasoning capabilities in large language models (LLMs). However, these methods rely on fragile, implicit mechanisms often yielding inconsistent outputs across seeds, formats, or minor prompt variations making them fundamentally unreliable for tasks requiring stable, interpretable reasoning. In contrast, automata-based neuro-symbolic frameworks like RetoMaton offer a more structured and trustworthy alternative by grounding retrieval in symbolic memory with deterministic transitions. In this work, we extend RetoMaton by replacing its global datastore with a local, task-adaptive Weighted Finite Automaton (WFA), constructed directly from external domain corpora. This local automaton structure promotes robust, context-aware retrieval while preserving symbolic traceability and low inference overhead. Unlike prompting, which entangles context and memory in opaque ways, our approach leverages the explicit structure of WFAs to provide verifiable and modular retrieval behavior, making it better suited for domain transfer and interoperability. We evaluate this local RetoMaton variant on two pretrained LLMs LLaMA-3.2-1B and Gemma-3-1B-PT across three reasoning tasks: TriviaQA (reading comprehension), GSM8K (multi-step math), and MMLU (domain knowledge). Compared to the base model and prompting-based methods, augmenting these setups with local RetoMaton consistently improves performance while enabling transparent and reproducible retrieval dynamics. Our results highlight a promising shift toward trustworthy, symbolic reasoning in modern LLMs via lightweight, automaton-guided memory.
• Abstract（参考訳）: CoT(Chain-of-Thought)やICL(In-Context Learning)といったプロンプトベースの推論戦略は、大規模言語モデル(LLM)における推論能力の抽出に広く用いられている。 しかし、これらの手法は、しばしば種子、形式、または小さな急進的な変化に対して一貫性のない出力をもたらす脆弱で暗黙的なメカニズムに依存しており、安定的で解釈可能な推論を必要とするタスクに対して基本的に信頼できない。 これとは対照的に、RetoMatonのようなオートマタベースのニューロシンボリックフレームワークは、決定論的遷移を伴うシンボリックメモリの検索を基盤にすることで、より構造化され、信頼できる代替手段を提供する。 本研究では,RetoMatonのグローバルデータストアを,外部ドメインコーパスから直接構築したローカルなタスク適応型重み付き有限オートマトン(WFA)に置き換えることで拡張する。 この局所オートマトン構造は、シンボルトレーサビリティと低推論オーバーヘッドを維持しながら、堅牢でコンテキスト対応の検索を促進する。 不透明な方法でコンテキストとメモリを絡み合わせるプロンプトとは異なり、我々のアプローチは、WFAの明示的な構造を利用して検証可能でモジュラーな検索動作を提供し、ドメイン転送と相互運用性に適している。 LLaMA-3.2-1BとGemma-3-1B-PTの2つの事前訓練されたLLM上の局所RetoMaton変種について,TriviaQA(可読性),GSM8K(マルチステップ数学),MMLU(ドメイン知識)の3つの理由から評価を行った。 ベースモデルとプロンプトベースのメソッドと比較して、これらのセットアップをローカルなRetoMatonで拡張することで、透過的で再現可能な検索ダイナミックスを実現しつつ、パフォーマンスを継続的に改善する。 本稿の結果は,軽量な自動誘導メモリによる,現代LLMにおける信頼性の高い象徴的推論への有望なシフトを浮き彫りにしたものである。

関連論文リスト

• RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
  RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。 役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。 軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
  論文  参考訳（メタデータ） (2025-08-06T21:59:34Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。