論文の概要: Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.12939v1
• Date: Tue, 21 May 2024 17:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 12:40:41.941576
• Title: Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models
• Title（参考訳）: 推論の集約:大規模言語モデルにおける回答選択の促進のための階層的枠組み
• Authors: Zhangyue Yin, Qiushi Sun, Qipeng Guo, Zhiyuan Zeng, Xiaonan Li, Tianxiang Sun, Cheng Chang, Qinyuan Cheng, Ding Wang, Xiaofeng Mou, Xipeng Qiu, XuanJing Huang,
• Abstract要約: 最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
• 参考スコア（独自算出の注目度）: 84.15513004135576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Chain-of-Thought prompting have facilitated significant breakthroughs for Large Language Models (LLMs) in complex reasoning tasks. Current research enhances the reasoning performance of LLMs by sampling multiple reasoning chains and ensembling based on the answer frequency. However, this approach fails in scenarios where the correct answers are in the minority. We identify this as a primary factor constraining the reasoning capabilities of LLMs, a limitation that cannot be resolved solely based on the predicted answers. To address this shortcoming, we introduce a hierarchical reasoning aggregation framework AoR (Aggregation of Reasoning), which selects answers based on the evaluation of reasoning chains. Additionally, AoR incorporates dynamic sampling, adjusting the number of reasoning chains in accordance with the complexity of the task. Experimental results on a series of complex reasoning tasks show that AoR outperforms prominent ensemble methods. Further analysis reveals that AoR not only adapts various LLMs but also achieves a superior performance ceiling when compared to current methods.
• Abstract（参考訳）: 近年のChain-of-Thoughtの進歩は、複雑な推論タスクにおいて、LLM(Large Language Models)の大きなブレークスルーを助長している。 最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、LCMの推論性能を向上させる。 しかし、正しい答えが少数派である場合、このアプローチは失敗する。 本研究は, LLMの推論能力を制約する主要な要因として, 予測された解のみに基づいて解けない限界を同定する。 この欠点に対処するために、階層的推論集約フレームワークAoR(Aggregation of Reasoning)を導入し、推論連鎖の評価に基づいて回答を選択する。 さらに、AoRは動的サンプリングを導入し、タスクの複雑さに応じて推論チェーンの数を調整する。 一連の複雑な推論タスクの実験結果は、AoRが顕著なアンサンブル法より優れていることを示している。 さらに分析したところ、AoR は様々な LLM に適応するだけでなく、現在の手法と比較して優れた性能の天井も達成していることがわかった。

関連論文リスト

• Hint Marginalization for Improved Reasoning in Large Language Models [24.67507932821155]
  大規模言語モデル(LLM)の推論能力を高める新しいアルゴリズムフレームワークであるMarginalizationを提案する。 提案手法は,モンテカルロ近似を基礎となる回答分布の反復的サンプリング戦略とみなすことができる。 算術的推論のためのいくつかのベンチマークデータセットに対する経験的評価は、提案手法の優位性を示している。
  論文  参考訳（メタデータ） (2024-12-17T19:45:53Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [74.90592233107712]
  本稿では,直接推論 (DR) と間接推論 (IR) を並列な複数の推論経路として考慮し,最終解を導出する直接間接推論 (DIR) 手法を提案する。 我々のDIR法は単純だが有効であり、既存のCoT法と簡単に統合できる。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。