論文の概要: Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models

• arxiv url: http://arxiv.org/abs/2501.05752v1
• Date: Fri, 10 Jan 2025 07:02:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:30.772304
• Title: Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models
• Title（参考訳）: 言語モデルを用いた効率的な問題解決のための適応ゲーティングを用いた意味探索
• Authors: Sungjae Lee, Hyejin Park, Jaechang Kim, Jungseul Ok,
• Abstract要約: 本稿では,セマンティック探索を適応ゲーティング(SEAG)で提案し,意味論的に同一の経路を探索する。 SEAGは計算コストの31%しか必要とせず、平均4.3%の精度を著しく向上させる。 実験の結果,SEAGの精度は平均4.3%向上し,計算コストは31%に過ぎなかった。
• 参考スコア（独自算出の注目度）: 8.295475330195993
• License:
• Abstract: Recent advancements in large language models (LLMs) have shown remarkable potential in various complex tasks requiring multi-step reasoning methods like tree search to explore diverse reasoning paths. However, existing methods often suffer from computational inefficiency and redundancy. First, they overlook the diversity of task difficulties, leading to unnecessarily extensive searches even for easy tasks. Second, they neglect the semantics of reasoning paths, resulting in redundant exploration of semantically identical paths. To address these limitations, we propose Semantic Exploration with Adaptive Gating (SEAG), a computationally efficient method. SEAG employs an adaptive gating mechanism that dynamically decides whether to conduct a tree search, based on the confidence level of answers from a preceding simple reasoning method. Furthermore, its tree-based exploration consolidates semantically identical reasoning steps, reducing redundant explorations while maintaining or even improving accuracy. Our extensive experiments demonstrate that SEAG significantly improves accuracy by 4.3% on average while requiring only 31% of computational costs compared to existing tree search-based methods on complex reasoning benchmarks including GSM8K and ARC with diverse language models such as Llama2, Llama3, and Mistral.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々な複雑なタスクにおいて、様々な推論経路を探索するために、木探索のような多段階の推論方法を必要とする顕著な可能性を示している。 しかし、既存の手法はしばしば計算の非効率性と冗長性に悩まされる。 第一に、彼らはタスクの難しさの多様性を見落とし、簡単なタスクであっても、必要以上に広範囲の検索に繋がる。 第二に、彼らは推論経路の意味を無視し、意味論的に同一の経路を冗長に探索する。 これらの制約に対処するために,適応ゲーティングを用いたセマンティック探索法 (SEAG) を提案する。 SEAGは適応的なゲーティング機構を採用し、従来の単純な推論手法からの回答の信頼性レベルに基づいて木探索を行うかどうかを動的に決定する。 さらに、木に基づく探索は意味論的に同一の推論ステップを統合し、正確性を維持したり改善したりしながら冗長な探索を減らす。 GSM8K や ARC など,Llama2 や Llama3 や Mistral といった多種多様な言語モデルを用いた複雑な推論ベンチマークにおいて,SEAG は計算コストの31% しか必要とせず,精度を平均4.3% 向上させることを示した。

関連論文リスト

• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Reasoning Paths Optimization: Learning to Reason and Explore From Diverse Paths [69.39559168050923]
  本稿では,多様な経路から学習の推論と探索を可能にするReasoning Paths Optimization (RPO)を紹介する。 提案手法は,各推論ステップにおいて好意的な分岐を奨励し,好ましくない分岐を罰し,モデル全体の問題解決性能を高める。 我々は,数語問題や理科ベースの試験問題など,多段階の推論タスクに焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-07T06:37:25Z)
• Tree Search for Language Model Agents [69.43007235771383]
  対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。 我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。 現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-01T17:07:55Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Self-Guiding Exploration for Combinatorial Problems [2.636330943305939]
  自己ガイド探索(Self-Guiding Exploration, SGE)は, 組合せ問題の解法の性能向上を目的としている。 SGEは自律的に動作し、CPタスクごとに複数の思考軌道を生成する。 その後、これらの軌道を動作可能なサブタスクに分解し、順次実行し、結果を洗練して最適な結果を保証する。
  論文  参考訳（メタデータ） (2024-05-28T08:26:54Z)
• When is Tree Search Useful for LLM Planning? It Depends on the Discriminator [15.75807429396126]
  大規模言語モデル(LLM)は、ジェネレータ、識別器、計画方法という3つのコンポーネントを持つ言語エージェントフレームワークの下で、多段階の問題を解決する。 本稿では,先進的な計画手法を用いて,識別精度がエージェント全体の性能に与える影響を包括的に分析する。
  論文  参考訳（メタデータ） (2024-02-16T18:45:58Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)
• Tree-of-Mixed-Thought: Combining Fast and Slow Thinking for Multi-hop Visual Reasoning [16.495754104540605]
  大規模言語モデル(LLM)は、視覚的推論のような複雑な推論タスクのためのコードライクな計画を生成することができる。 ワンストップ推論 (fast) とツリー・オブ・シント (slow) を統合した階層型計画探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-18T16:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。