論文の概要: EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

• arxiv url: http://arxiv.org/abs/2505.16312v1
• Date: Thu, 22 May 2025 07:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.1085
• Title: EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning
• Title（参考訳）: EquivPruner:アクションプランニングによるLLM検索の効率と品質向上
• Authors: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian,
• Abstract要約: EquivPrunerは推論検索中に意味論的に等価なアクションを識別し、特定する。 数学的ステートメント同値性のための最初のデータセットであるMathEquivは、軽量な等価検出器のトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 40.506243479030104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、検索アルゴリズムによる複雑な推論において優れているが、現在の戦略は意味論的に等価なステップの冗長な探索のために、しばしば大量のトークン消費に悩まされる。 既存の意味的類似性法は、数学的推論のようなドメイン固有の文脈におけるそのような同値性を正確に識別するのに苦労する。 そこで本研究では,LLM推論探索において意味論的に等価な動作を識別し,具現化する,シンプルかつ効果的なアプローチであるEquivPrunerを提案する。 また、数学的ステートメント等価性のための最初のデータセットであるMathEquivを導入し、軽量同値検出器のトレーニングを可能にした。 様々なモデルやタスクにわたる大規模な実験により、EquivPrunerはトークンの消費を著しく削減し、探索効率を向上し、しばしば推論精度を向上することを示した。 例えば、GSM8K上のQwen2.5-Math-7B-インストラクションに適用すると、EquivPrunerはトークンの消費量を48.1\%削減し、精度も向上した。 私たちのコードはhttps://github.com/Lolo1222/EquivPruner.comから入手可能です。

関連論文リスト

• Scaling Test-Time Compute Without Verification or RL is Suboptimal [70.28430200655919]
  RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。 我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
  論文  参考訳（メタデータ） (2025-02-17T18:43:24Z)
• Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
  検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。 各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
  論文  参考訳（メタデータ） (2025-02-16T16:12:01Z)
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
  LLMにおける推論時間計算のスケーリングについて検討する。 どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:35:05Z)
• A Training Data Recipe to Accelerate A* Search with Language Models [3.037409201025504]
  A*のような検索アルゴリズムを備えた大規模言語モデル(LLM)は、拡張された推論とスケーラブルな推論の約束を持っている。 我々は,A*探索アルゴリズムの要件を LLM の要件から実験的に切り離して,この課題を一般化する。 提案手法は,解を見つけるのに要する反復回数を最大15倍に削減し,壁面通過速度を最大5倍に向上させる。
  論文  参考訳（メタデータ） (2024-07-13T19:21:44Z)
• GEqO: ML-Accelerated Semantic Equivalence Detection [3.5521901508676774]
  クラスタリソースの効率的な利用とジョブ実行時間の削減には,共通計算が不可欠だ。 大規模分析エンジンの等価性を検出するには、完全に自動化された効率的でスケーラブルなソリューションが必要である。 本稿では,大規模で意味論的に等価な計算を効率的に識別する,ポータブルで軽量な機械学習ベースのフレームワークであるGEqOを提案する。
  論文  参考訳（メタデータ） (2024-01-02T16:37:42Z)
• Unified Functional Hashing in Automatic Machine Learning [58.77232199682271]
  高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。 私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。 ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
  論文  参考訳（メタデータ） (2023-02-10T18:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。