論文の概要: Soft Reasoning: Navigating Solution Spaces in Large Language Models through Controlled Embedding Exploration

• arxiv url: http://arxiv.org/abs/2505.24688v2
• Date: Wed, 04 Jun 2025 08:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.490982
• Title: Soft Reasoning: Navigating Solution Spaces in Large Language Models through Controlled Embedding Exploration
• Title（参考訳）: ソフト推論:制御埋め込み探索による大規模言語モデルにおける解空間のナビゲート
• Authors: Qinglin Zhu, Runcong Zhao, Hanqi Yan, Yulan He, Yudong Chen, Lin Gui,
• Abstract要約: 大きな言語モデル(LLM)は、多様性と非効率的な探索のために複雑な推論に苦しむ。 我々は,第1トークンの埋め込みを最適化して生成をガイドする埋め込み型検索フレームワークであるSoft Reasoningを提案する。 実験では、最小限の計算で優れた正確性を示し、スケーラブルでモデルに依存しないソリューションである。
• 参考スコア（独自算出の注目度）: 21.773114960981363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) struggle with complex reasoning due to limited diversity and inefficient search. We propose Soft Reasoning, an embedding-based search framework that optimises the embedding of the first token to guide generation. It combines (1) embedding perturbation for controlled exploration and (2) Bayesian optimisation to refine embeddings via a verifier-guided objective, balancing exploration and exploitation. This approach improves reasoning accuracy and coherence while avoiding reliance on heuristic search. Experiments demonstrate superior correctness with minimal computation, making it a scalable, model-agnostic solution.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、多様性と非効率的な探索のために複雑な推論に苦しむ。 我々は,第1トークンの埋め込みを最適化して生成をガイドする埋め込み型検索フレームワークであるSoft Reasoningを提案する。 本研究は,(1)埋没摂動を制御探査に用い,(2)ベイズ最適化と組み合わせて,検証対象による埋没を洗練し,探索と利用のバランスをとる。 このアプローチは、ヒューリスティック検索への依存を回避しつつ、推論精度とコヒーレンスを改善する。 実験では、最小限の計算で優れた正確性を示し、スケーラブルでモデルに依存しないソリューションである。

関連論文リスト

• Accelerating Large Language Model Reasoning via Speculative Search [59.48276891032373]
  本稿では,大規模言語モデル(LLM)推論を著しく高速化する新しいSpec Searchフレームワークを提案する。 具体的には、SpecSearchは小さなモデルを使用して、思考とトークンのレベルで大きなモデルと戦略的に協力する。 SpecSearchの主要な柱は、大きなモデルの出力よりも品質が低い考えを効果的にフィルタリングする、新しい品質保存の拒絶メカニズムである。
  論文  参考訳（メタデータ） (2025-05-03T12:14:08Z)
• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• Exploring the Boundary of Diffusion-based Methods for Solving Constrained Optimization [46.75288477458697]
  本稿では,DiOptと呼ばれる連続制約最適化問題に対する拡散に基づく新しいフレームワークを提案する。 DiOptは2つの異なるフェーズで動作し、最初のウォームスタートフェーズは教師付き学習によって実装され、その後ブートストラップフェーズが続く。 問題の制約を厳格に満たしつつ、反復的に解を洗練し、目的関数を改善するように設計されている。
  論文  参考訳（メタデータ） (2025-02-14T17:43:08Z)
• Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models [8.295475330195993]
  本稿では,セマンティック探索を適応ゲーティング(SEAG)で提案し,意味論的に同一の経路を探索する。 SEAGは計算コストの31%しか必要とせず、平均4.3%の精度を著しく向上させる。 実験の結果,SEAGの精度は平均4.3%向上し,計算コストは31%に過ぎなかった。
  論文  参考訳（メタデータ） (2025-01-10T07:02:43Z)
• Adaptive trajectory-constrained exploration strategy for deep reinforcement learning [6.589742080994319]
  深層強化学習 (DRL) は, まばらさや虚偽の報奨や大きな状態空間を持つタスクにおいて, ハード探索問題に対処する上で, 重大な課題に直面している。 DRLの最適軌道制約探索法を提案する。 2つの大きな2次元グリッドワールド迷路と複数のMuJoCoタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-12-27T07:57:15Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• A machine learning framework for neighbor generation in metaheuristic search [4.521119623956821]
  メタヒューリスティック検索における近隣世代のための汎用機械学習フレームワークを提案する。 メタヒューリスティックな2つの応用法について検証する。
  論文  参考訳（メタデータ） (2022-12-22T01:58:04Z)
• Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
  非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。 本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
  論文  参考訳（メタデータ） (2022-01-28T05:53:28Z)
• Optimal Counterfactual Explanations in Tree Ensembles [3.8073142980733]
  我々は「最適」な説明を目的としたモデルに基づく探索を提唱し、効率的な混合整数プログラミング手法を提案する。 孤立林は我々のフレームワーク内でモデル化され、低いアウトリーチスコアで妥当な説明に焦点を絞ることができることを示す。
  論文  参考訳（メタデータ） (2021-06-11T22:44:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。