論文の概要: Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning

• arxiv url: http://arxiv.org/abs/2504.10646v1
• Date: Mon, 14 Apr 2025 18:56:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:12:19.631247
• Title: Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning
• Title（参考訳）: 軽量推論:強化LDM推論のためのニューラルネットワークウェイト探索
• Authors: Saif Punjwani, Larry Heck,
• Abstract要約: Weight-of-Thought(WoT)推論は、推論の前にニューラルネットワークの重みを調べて推論経路を特定する手法である。 WoTは、特に複雑な問題に対して、従来の手法よりも優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 1.9797215742507548
• License:
• Abstract: Large language models (LLMs) have demonstrated remarkable reasoning capabilities when prompted with strategies such as Chain-of-Thought (CoT). However, these approaches focus on token-level output without considering internal weight dynamics. We introduce Weight-of-Thought (WoT) reasoning, a novel approach that examines neural network weights before inference to identify reasoning pathways. Unlike existing methods, WoT explores the weight space through graph-based message passing, multi-step reasoning processes, and attention mechanisms. Our implementation creates an interconnected graph of reasoning nodes. Experiments on diverse reasoning tasks (syllogistic, mathematical, algebraic, combinatorial, and geometric) demonstrate that WoT achieves superior performance compared to traditional methods, particularly for complex problems. This approach leads to both improved performance and greater interpretability of the reasoning process, offering a promising direction for enhancing LLM reasoning capabilities.
• Abstract（参考訳）: 大型言語モデル (LLM) は、Chain-of-Thought (CoT) のような戦略によって、顕著な推論能力を示している。 しかし、これらの手法は内部重み力学を考慮せずにトークンレベルの出力にフォーカスする。 Weight-of-Thought(WoT)推論は、推論の前にニューラルネットワークの重みを調べて推論経路を特定する手法である。 既存の方法とは異なり、WoTはグラフベースのメッセージパッシング、多段階推論プロセス、アテンションメカニズムを通じて重み空間を探索する。 我々の実装は、推論ノードの相互接続グラフを作成する。 様々な推論タスク(体論的、数学的、代数的、組合せ的、幾何学的)の実験は、WoTが従来の手法、特に複雑な問題に対して優れた性能を発揮することを示した。 このアプローチは、LLM推論能力を向上するための有望な方向性を提供するため、推論プロセスの性能向上と解釈可能性の向上を両立させる。

関連論文リスト

• Hypothesis-Driven Theory-of-Mind Reasoning for Large Language Models [76.6028674686018]
  エージェントの精神状態を追跡するための推論時間推論アルゴリズムである思考トレースを導入する。 提案アルゴリズムは,ベイズ理論をモデルとした。 本研究は,様々なベンチマークにおける思考トレーシングを評価し,大幅な性能向上を実証した。
  論文  参考訳（メタデータ） (2025-02-17T15:08:50Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Causal Reasoning in Large Language Models: A Knowledge Graph Approach [6.5344638992876085]
  大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。 本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:24:44Z)
• CSCE: Boosting LLM Reasoning by Simultaneous Enhancing of Causal Significance and Consistency [11.144164626192904]
  チェーン・オブ・シンキング(CoT)のような連鎖型手法は、大規模言語モデル(LLM)の推論タスクの解決において、その役割を担っている。 本稿では、因果的重要性と一貫性を同時に考慮する非チェーン型推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T08:28:23Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)
• On the Diagram of Thought [12.304069891580658]
  現在の大規模言語モデル(LLM)は印象的な能力を示しているが、複雑な多段階推論タスクに苦労している。 1つの自己回帰型LCMが内部で構成し、DAG(Directed Acyclic Graph)をナビゲートするフレームワークとして、Diagram of Thought(DoT)を紹介した。 本研究は,適切なトポ内の図式として推論DAGを定式化し,検証された情報を集約する最終段階が関連するサブダイアグラムのコリミットの計算に意味的に対応していることを証明する。
  論文  参考訳（メタデータ） (2024-09-16T07:01:41Z)
• Neural Probabilistic Logic Learning for Knowledge Graph Reasoning [10.473897846826956]
  本稿では,知識グラフの正確な推論を実現するための推論フレームワークを設計することを目的とする。 本稿では,組込みネットワークの表現力を効果的に向上するスコアリングモジュールを提案する。 我々は,変分推論に基づくマルコフ論理ネットワークを組み込むことにより,モデルの解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2024-07-04T07:45:46Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Neural Logic Reasoning [47.622957656745356]
  本稿では,ディープラーニングと論理推論の能力を統合するために,論理統合ニューラルネットワーク(LINN)を提案する。 LINNは、神経モジュールとしてAND、OR、NOTなどの基本的な論理操作を学び、推論のためにネットワークを通して命題論理推論を行う。 実験の結果、LINNはTop-Kレコメンデーションにおいて最先端のレコメンデーションモデルを大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T14:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。