論文の概要: Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism

• arxiv url: http://arxiv.org/abs/2405.15302v3
• Date: Tue, 09 Sep 2025 02:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:26.607795
• Title: Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism
• Title（参考訳）: バッファ機構の観点からの記号的マルチステップ推論問題の解法に関する言語モデル理解
• Authors: Zhiwei Wang, Yunji Wang, Zhongwang Zhang, Zhangchen Zhou, Hui Jin, Tianyang Hu, Jiacheng Sun, Zhenguo Li, Yaoyu Zhang, Zhi-Qin John Xu,
• Abstract要約: 本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。 モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 68.05754701230039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have consistently struggled with complex reasoning tasks, such as mathematical problem-solving. Investigating the internal reasoning mechanisms of these models can help us design better model architectures and training strategies, ultimately enhancing their reasoning capability. In this study, we constructed a symbolic multi-step reasoning task to investigate the information propagation mechanisms in Transformer models when solving the task through direct answering and Chain-of-Thought (CoT) reasoning. We introduced the concept of buffer mechanism: the model stores various information in distinct buffers and selectively extracts it through the query-key matrix. We proposed a random matrix-based algorithm to enhance the model's reasoning ability. This algorithm introduces only 132 trainable parameters, yet leads to significant performance improvements on 7 multi-step reasoning datasets, including PrOntoQA, LogicAsker, and LogicInference. These findings provide new insights into understanding the large language models.
• Abstract（参考訳）: 大規模言語モデルは、数学的問題解決のような複雑な推論タスクに一貫して苦労してきた。 これらのモデルの内部推論メカニズムを調査することで、よりよいモデルアーキテクチャとトレーニング戦略を設計し、最終的には推論能力を高めることができます。 本研究では,トランスフォーマーモデルにおいて,直接応答とCoT(Chain-of-Thought)推論によってタスクを解く際に,情報伝達機構を解明するために,シンボリックな多段階推論タスクを構築した。 我々はバッファ機構の概念を導入し、様々な情報を異なるバッファに格納し、クエリキー行列を介して選択的に抽出する。 モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。 このアルゴリズムは132のトレーニング可能なパラメータしか導入していないが、PrOntoQA、LogicAsker、LogicInferenceを含む7つのマルチステップ推論データセットのパフォーマンスが大幅に向上している。 これらの発見は、大きな言語モデルを理解するための新たな洞察を与えてくれる。

関連論文リスト

• AdapThink: Adaptive Thinking Preferences for Reasoning Language Model [32.47427081297578]
  強化学習(RL)に基づくポストトレーニングは、言語モデルの複雑な推論能力を大幅に向上させた。 しかし、この緩やかな思考のパラダイムは、効率を推理する上で重要な課題である。 より効率的な思考を促すために,適応的なポストトレーニングフレームワークAdapThinkを提案する。
  論文  参考訳（メタデータ） (2025-06-23T02:06:04Z)
• A Survey of Model Architectures in Information Retrieval [64.75808744228067]
  機能抽出のためのバックボーンモデルと、関連性推定のためのエンドツーエンドシステムアーキテクチャの2つの重要な側面に焦点を当てる。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 我々は、パフォーマンスとスケーラビリティのアーキテクチャ最適化、マルチモーダル、マルチランガルデータの処理、従来の検索パラダイムを超えた新しいアプリケーションドメインへの適応など、新たな課題と今後の方向性について議論することで結論付けた。
  論文  参考訳（メタデータ） (2025-02-20T18:42:58Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning [9.795934690403374]
  このような課題を解決するために言語モデルでどのような多段階推論機構が使われているのかはいまだ不明である。 回路解析と自己影響関数を用いて、推論過程を通して各トークンの変動の重要性を評価する。 提案手法は,モデルが使用する人間の解釈可能な推論過程を明らかにする。
  論文  参考訳（メタデータ） (2025-02-13T07:19:05Z)
• On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
  大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:58:18Z)
• Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
  我々は、MBOタスクの構造を学習し、経験的に改良された設計につながるモデルを開発する。 我々はCliqueformerを、高次元のブラックボックス機能から、化学・遺伝設計の現実的なタスクまで、様々なタスクで評価する。
  論文  参考訳（メタデータ） (2024-10-17T00:35:47Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Unified Explanations in Machine Learning Models: A Perturbation Approach [0.0]
  XAIとモデリング技術の不整合は、これらの説明可能性アプローチの有効性に疑念を投げかけるという望ましくない効果をもたらす可能性がある。 我々はXAI, SHapley Additive exPlanations (Shap) において, 一般的なモデルに依存しない手法に対する系統的摂動解析を提案する。 我々は、一般的な機械学習とディープラーニングの手法のスイートと、静的ケースホールドで生成された説明の正確さを定量化するためのメトリクスの中で、動的推論の設定において、相対的な特徴重要度を生成するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-05-30T16:04:35Z)
• Refined Mechanism Design for Approximately Structured Priors via Active Regression [50.71772232237571]
  我々は、大量の商品を戦略的入札者に販売する収益を最大化する販売業者の問題を考える。 この設定の最適かつほぼ最適のメカニズムは、特徴付けや計算が難しいことで有名である。
  論文  参考訳（メタデータ） (2023-10-11T20:34:17Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Relational Concept Bottleneck Models [13.311396882130033]
  概念ボトルネックモデル(CBM)は問題を解決するために設計されていない。 R-CBMは標準CBMとリレーショナルGNNの両方を表現できる。 特に,R-CBMが概念に基づく説明の生成を支援することを示す。
  論文  参考訳（メタデータ） (2023-08-23T08:25:33Z)
• Incorporating Domain Knowledge in Deep Neural Networks for Discrete Choice Models [0.5801044612920815]
  本稿では,DCMにおけるデータ駆動型アプローチの可能性を拡張するフレームワークを提案する。 これには、必要な関係を表す擬似データサンプルと、その実現度を測定する損失関数が含まれる。 ケーススタディは、このフレームワークの個別選択分析の可能性を示している。
  論文  参考訳（メタデータ） (2023-05-30T12:53:55Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Structured learning of rigid-body dynamics: A survey and unified view from a robotics perspective [5.597839822252915]
  剛体力学とデータ駆動モデリング技術を組み合わせた回帰モデルについて検討した。 我々は、ニューラルネットワークやガウス過程などのデータ駆動回帰モデルと分析モデル先行モデルの組み合わせに関する統一的な見解を提供する。
  論文  参考訳（メタデータ） (2020-12-11T11:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。