論文の概要: Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning

• arxiv url: http://arxiv.org/abs/2504.10646v1
• Date: Mon, 14 Apr 2025 18:56:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-24 08:49:27.388113
• Title: Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning
• Title（参考訳）: 軽量推論:強化LDM推論のためのニューラルネットワークウェイト探索
• Authors: Saif Punjwani, Larry Heck,
• Abstract要約: Weight-of-Thought(WoT)推論は、推論の前にニューラルネットワークの重みを調べて推論経路を特定する手法である。 WoTは、特に複雑な問題に対して、従来の手法よりも優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 1.9797215742507548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable reasoning capabilities when prompted with strategies such as Chain-of-Thought (CoT). However, these approaches focus on token-level output without considering internal weight dynamics. We introduce Weight-of-Thought (WoT) reasoning, a novel approach that examines neural network weights before inference to identify reasoning pathways. Unlike existing methods, WoT explores the weight space through graph-based message passing, multi-step reasoning processes, and attention mechanisms. Our implementation creates an interconnected graph of reasoning nodes. Experiments on diverse reasoning tasks (syllogistic, mathematical, algebraic, combinatorial, and geometric) demonstrate that WoT achieves superior performance compared to traditional methods, particularly for complex problems. This approach leads to both improved performance and greater interpretability of the reasoning process, offering a promising direction for enhancing LLM reasoning capabilities.
• Abstract（参考訳）: 大型言語モデル (LLM) は、Chain-of-Thought (CoT) のような戦略によって、顕著な推論能力を示している。 しかし、これらの手法は内部重み力学を考慮せずにトークンレベルの出力にフォーカスする。 Weight-of-Thought(WoT)推論は、推論の前にニューラルネットワークの重みを調べて推論経路を特定する手法である。 既存の方法とは異なり、WoTはグラフベースのメッセージパッシング、多段階推論プロセス、アテンションメカニズムを通じて重み空間を探索する。 我々の実装は、推論ノードの相互接続グラフを作成する。 様々な推論タスク(体論的、数学的、代数的、組合せ的、幾何学的)の実験は、WoTが従来の手法、特に複雑な問題に対して優れた性能を発揮することを示した。 このアプローチは、LLM推論能力を向上するための有望な方向性を提供するため、推論プロセスの性能向上と解釈可能性の向上を両立させる。

関連論文リスト

• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Hypothesis-Driven Theory-of-Mind Reasoning for Large Language Models [76.6028674686018]
  エージェントの精神状態を追跡するための推論時間推論アルゴリズムである思考トレースを導入する。 提案アルゴリズムは,ベイズ理論をモデルとした。 本研究は,様々なベンチマークにおける思考トレーシングを評価し,大幅な性能向上を実証した。
  論文  参考訳（メタデータ） (2025-02-17T15:08:50Z)
• LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning [49.58786377307728]
  本稿では、類似推論のための制御された評価環境を導入することにより、探索的アプローチを採用する。 帰納的,帰納的,帰納的,帰納的な推論パイプラインの比較力学を解析する。 仮説選択や検証,洗練といった高度なパラダイムを考察し,論理的推論のスケールアップの可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Causal Reasoning in Large Language Models: A Knowledge Graph Approach [6.5344638992876085]
  大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。 本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:24:44Z)
• Geometric Analysis of Reasoning Trajectories: A Phase Space Approach to Understanding Valid and Invalid Multi-Hop Reasoning in LLMs [0.0]
  本稿では,ハミルトン力学による言語モデルにおけるマルチホップ推論の新たな解析手法を提案する。 我々は、埋め込み空間における推論連鎖をハミルトン系に写像し、問題関連性(ポテンシャルエネルギー)に対する推論進行(運動エネルギー)のバランスをとる関数を定義する。
  論文  参考訳（メタデータ） (2024-10-06T09:09:14Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)
• On the Diagram of Thought [12.304069891580658]
  現在の大規模言語モデル(LLM)は印象的な能力を示しているが、複雑な多段階推論タスクに苦労している。 1つの自己回帰型LCMが内部で構成し、DAG(Directed Acyclic Graph)をナビゲートするフレームワークとして、Diagram of Thought(DoT)を紹介した。 本研究は,適切なトポ内の図式として推論DAGを定式化し,検証された情報を集約する最終段階が関連するサブダイアグラムのコリミットの計算に意味的に対応していることを証明する。
  論文  参考訳（メタデータ） (2024-09-16T07:01:41Z)
• Neural Probabilistic Logic Learning for Knowledge Graph Reasoning [10.473897846826956]
  本稿では,知識グラフの正確な推論を実現するための推論フレームワークを設計することを目的とする。 本稿では,組込みネットワークの表現力を効果的に向上するスコアリングモジュールを提案する。 我々は,変分推論に基づくマルコフ論理ネットワークを組み込むことにより,モデルの解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2024-07-04T07:45:46Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Neural Logic Reasoning [47.622957656745356]
  本稿では,ディープラーニングと論理推論の能力を統合するために,論理統合ニューラルネットワーク(LINN)を提案する。 LINNは、神経モジュールとしてAND、OR、NOTなどの基本的な論理操作を学び、推論のためにネットワークを通して命題論理推論を行う。 実験の結果、LINNはTop-Kレコメンデーションにおいて最先端のレコメンデーションモデルを大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T14:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。