論文の概要: Making Large Language Models Better Reasoners with Orchestrated Streaming Experiences

• arxiv url: http://arxiv.org/abs/2504.00473v1
• Date: Tue, 01 Apr 2025 07:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:58.570194
• Title: Making Large Language Models Better Reasoners with Orchestrated Streaming Experiences
• Title（参考訳）: 大規模言語モデルの構築 - オーケストレーションされたストリーミングエクスペリエンスによる推論の改善
• Authors: Xiangyang Liu, Junliang He, Xipeng Qiu,
• Abstract要約: 大規模言語モデル(LLM)は、ゼロショットまたは少数ショット設定下で中間思考を生成することで複雑な推論を行うことができる。 複雑な外部の努力なしに自己改善できる推論タスクを解くためのフレームワークであるRoSEを紹介する。
• 参考スコア（独自算出の注目度）: 57.892647106955415
• License:
• Abstract: Large language models (LLMs) can perform complex reasoning by generating intermediate thoughts under zero-shot or few-shot settings. However, zero-shot prompting always encounters low performance, and the superior performance of few-shot prompting hinges on the manual-crafted demonstrations. In this paper, we present RoSE (Reasoning with Orchestrated Streaming Experiences), a general framework for solving reasoning tasks that can self-improve without complex external efforts. To enable RoSE, we describe an architecture that extends an LLM to store all answered questions and their thoughts in a streaming experience pool then orchestrates helpful questions from the pool to assist in answering new questions. To set up a question-aware orchestration mechanism, RoSE first calculates the similarity of each question in the pool with a new test question. Since the solution to each answered question is not always correct, RoSE will sort the questions according to their similarity with the new question, and then uniformly divide them into multiple buckets. It finally extracts one question from each bucket to make these extracted questions more diverse. To make these extracted questions help RoSE answer new questions as much as possible, we introduce two other attributes of uncertainty and complexity for each question. RoSE will preferentially select the questions with low uncertainty and high complexity from each bucket. We evaluate the versatility of RoSE in various reasoning tasks, LLMs, and CoT methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ゼロショットまたは少数ショット設定下で中間思考を生成することで複雑な推論を行うことができる。 しかし、ゼロショットプロンプトは常に低いパフォーマンスに遭遇し、手作業によるデモでは、少数ショットプロンプトのヒンジが優れている。 本稿では、複雑な外部の努力を伴わずに自己改善可能な推論タスクを解くための一般的なフレームワークであるRoSE(Reasoning with Orchestrated Streaming Experiences)を提案する。 RoSEを実現するために、LLMを拡張して、すべての回答された質問とその考えをストリーミング体験プールに格納し、プールから有用な質問を編成し、新しい質問への回答を支援するアーキテクチャについて説明する。 質問認識オーケストレーション機構を設定するために、RoSEはまず、新しいテスト質問でプール内の各質問の類似度を計算する。 回答された各質問に対する解が必ずしも正しいとは限らないので、RoSEは新しい質問と類似性に応じて質問をソートし、それらを複数のバケットに一様に分割する。 最終的に各バケットから1つの質問を抽出し、これらの質問をより多様にする。 これらの質問を抽出することで、RoSEができるだけ新しい質問に答えられるようにするため、各質問に対する不確実性と複雑さの2つの属性を紹介します。 RoSEは、各バケットから低い不確実性と高い複雑さの質問を優先的に選択する。 様々な推論タスク, LLM, CoT 手法における RoSE の汎用性を評価する。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [92.57125498367907]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• Multi-LLM QA with Embodied Exploration [55.581423861790945]
  未知環境における質問応答におけるマルチエンボディードLEMエクスプローラ(MELE)の利用について検討する。 複数のLSMベースのエージェントが独立して家庭用環境に関する質問を探索し、回答する。 各問合せに対して1つの最終回答を生成するために,異なるアグリゲーション手法を解析する。
  論文  参考訳（メタデータ） (2024-06-16T12:46:40Z)
• Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts [22.669502403623166]
  本稿では,VQAタスクに対する推論質問プロンプトを提案する。 自己完結した質問は、教師なし質問セットモジュールを介して推論された質問プロンプトとして生成する。 各推論質問は、元の質問の意図を明確に示す。 そして、回答整合性として働く信頼度スコアに関連する候補回答をLSMに入力する。
  論文  参考訳（メタデータ） (2023-11-15T15:40:46Z)
• AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions [10.272000561545331]
  我々は、質問を正しい回答に必要な情報を持たないコンテキストで再マッチングすることで、新しい解決不可能な質問を生成する新しいパイプラインであるAGentを提案する。 本稿では,SQuAD と HotpotQA の解答可能な質問から2組の解答不可能な質問を生成することにより,この AGent パイプラインの有用性を実証する。
  論文  参考訳（メタデータ） (2023-09-10T18:13:11Z)
• Reasoning over Hierarchical Question Decomposition Tree for Explainable Question Answering [83.74210749046551]
  ヘテロジニアス知識統合のための質問分解手法を提案する。 階層的質問分解木(RoHT)を用いた新しい2段階XQAフレームワークを提案する。 複雑なQAデータセットKQA ProとMusiqueの実験は、我々のフレームワークがSOTAメソッドを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2023-05-24T11:45:59Z)
• Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering [13.735277588793997]
  クラウドベースLarge Language Models (LLMs) を用いた分散ユーザによる質問に対する回答精度の向上について検討する。 本研究は,同じ数学的推論ステップと問題解決手順を含む類似のクエリをユーザが質問する典型的な状況に焦点を当てる。 本稿では,自己整合性(SC)とCoT(Chain-of-Thought)技術を用いて,分散同義語質問を改善することを提案する。
  論文  参考訳（メタデータ） (2023-04-27T01:48:03Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• Co-VQA : Answering by Interactive Sub Question Sequence [18.476819557695087]
  本稿では,質問者,Oracle,Answererの3つのコンポーネントからなる対話型VQAフレームワークを提案する。 モデル毎に教師あり学習を行うために,VQA 2.0 と VQA-CP v2 データセット上で,各質問に対する SQS を構築する方法を提案する。
  論文  参考訳（メタデータ） (2022-04-02T15:09:16Z)
• MultiModalQA: Complex Question Answering over Text, Tables and Images [52.25399438133274]
  テキスト,テーブル,画像に対する共同推論を必要とするデータセットであるMultiModalQAを提案する。 大規模で複雑なマルチモーダル質問を生成するための新しいフレームワークを使用してMMQAを作成します。 次に、単一のモダリティから回答できる質問を受け取り、それらを組み合わせてクロスモーダルな質問を生成する形式言語を定義します。
  論文  参考訳（メタデータ） (2021-04-13T09:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。