Fugu-MT 論文翻訳(概要): Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models

論文の概要: Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models

arxiv url: http://arxiv.org/abs/2501.05752v1
Date: Fri, 10 Jan 2025 07:02:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-13 18:34:15.158671
Title: Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models
Title（参考訳）: 言語モデルを用いた効率的な問題解決のための適応ゲーティングを用いた意味探索
Authors: Sungjae Lee, Hyejin Park, Jaechang Kim, Jungseul Ok,
Abstract要約: 本稿では,セマンティック探索を適応ゲーティング(SEAG)で提案し,意味論的に同一の経路を探索する。 SEAGは計算コストの31%しか必要とせず、平均4.3%の精度を著しく向上させる。実験の結果,SEAGの精度は平均4.3%向上し,計算コストは31%に過ぎなかった。
参考スコア（独自算出の注目度）: 8.295475330195993
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advancements in large language models (LLMs) have shown remarkable potential in various complex tasks requiring multi-step reasoning methods like tree search to explore diverse reasoning paths. However, existing methods often suffer from computational inefficiency and redundancy. First, they overlook the diversity of task difficulties, leading to unnecessarily extensive searches even for easy tasks. Second, they neglect the semantics of reasoning paths, resulting in redundant exploration of semantically identical paths. To address these limitations, we propose Semantic Exploration with Adaptive Gating (SEAG), a computationally efficient method. SEAG employs an adaptive gating mechanism that dynamically decides whether to conduct a tree search, based on the confidence level of answers from a preceding simple reasoning method. Furthermore, its tree-based exploration consolidates semantically identical reasoning steps, reducing redundant explorations while maintaining or even improving accuracy. Our extensive experiments demonstrate that SEAG significantly improves accuracy by 4.3% on average while requiring only 31% of computational costs compared to existing tree search-based methods on complex reasoning benchmarks including GSM8K and ARC with diverse language models such as Llama2, Llama3, and Mistral.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々な複雑なタスクにおいて、様々な推論経路を探索するために、木探索のような多段階の推論方法を必要とする顕著な可能性を示している。しかし、既存の手法はしばしば計算の非効率性と冗長性に悩まされる。第一に、彼らはタスクの難しさの多様性を見落とし、簡単なタスクであっても、必要以上に広範囲の検索に繋がる。第二に、彼らは推論経路の意味を無視し、意味論的に同一の経路を冗長に探索する。これらの制約に対処するために,適応ゲーティングを用いたセマンティック探索法 (SEAG) を提案する。 SEAGは適応的なゲーティング機構を採用し、従来の単純な推論手法からの回答の信頼性レベルに基づいて木探索を行うかどうかを動的に決定する。さらに、木に基づく探索は意味論的に同一の推論ステップを統合し、正確性を維持したり改善したりしながら冗長な探索を減らす。 GSM8K や ARC など,Llama2 や Llama3 や Mistral といった多種多様な言語モデルを用いた複雑な推論ベンチマークにおいて,SEAG は計算コストの31% しか必要とせず,精度を平均4.3% 向上させることを示した。

関連論文リスト

LogicTree: Structured Proof Exploration for Coherent and Rigorous Logical Reasoning with Large Language Models [7.967925911756304]
LogicTreeは、アルゴリズム誘導探索を用いて構造化された証明探索を自動化する推論時モジュラーフレームワークである。前提優先度付けのための2自由導出を導入し、戦略的証明探索を可能にする。 LogicTreeでは、GPT-4oは平均7.6%でo3-miniを上回っている。
論文参考訳（メタデータ） (2025-04-18T22:10:02Z)
Decision Tree Induction Through LLMs via Semantically-Aware Evolution [53.0367886783772]
遺伝的プログラミング(GP)に基づく決定木誘導のための進化的最適化手法を提案する。私たちの重要なイノベーションは、セマンティックな事前情報と、検索空間に関するドメイン固有の知識をアルゴリズムに統合することです。これは、構造化された自然言語プロンプトを扱う新しい遺伝子操作子によって操作される。
論文参考訳（メタデータ） (2025-03-18T12:52:03Z)
Dynamic Parallel Tree Search for Efficient LLM Reasoning [102.16694475391665]
Tree of Thoughts (ToT) は大規模言語モデル(LLM)推論を強化し、分散木としての問題解決を構造化する。推論における推論経路を動的に最適化することを目的とした,新しい並列化フレームワークであるDynamic Parallel Tree Search (DPTS)を提案する。 Qwen-2.5とLlama-3のMath500とGSM8Kデータセットによる実験では、DPTSは平均で2-4倍効率が向上した。
論文参考訳（メタデータ） (2025-02-22T14:13:37Z)
Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
論文参考訳（メタデータ） (2025-02-16T16:12:01Z)
Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
論文参考訳（メタデータ） (2025-02-04T22:08:20Z)
DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
論文参考訳（メタデータ） (2025-02-03T08:22:45Z)
Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
論文参考訳（メタデータ） (2024-11-18T16:15:17Z)
Planning In Natural Language Improves LLM Search For Code Generation [5.370466208990696]
自然言語における問題解決のための新しい探索アルゴリズムであるPlanSearchを提案する。 PlanSearchはHumanEval+、MBPP+、LiveCodeBenchで強力な結果を示している。すべてのモデル、検索アルゴリズム、および分析されたベンチマークにおいて、検索によるパフォーマンス向上を正確に予測できることが示される。
論文参考訳（メタデータ） (2024-09-05T17:44:49Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
木探索に基づく推論経路生成手法であるPathFinderを提案する。動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
論文参考訳（メタデータ） (2023-12-08T17:05:47Z)
Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
論文参考訳（メタデータ） (2023-10-14T14:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。