論文の概要: Faithful Question Answering with Monte-Carlo Planning

• arxiv url: http://arxiv.org/abs/2305.02556v1
• Date: Thu, 4 May 2023 05:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 16:56:44.615906
• Title: Faithful Question Answering with Monte-Carlo Planning
• Title（参考訳）: モンテカルロ計画による忠実な質問応答
• Authors: Ruixin Hong, Hongming Zhang, Hong Zhao, Dong Yu, Changshui Zhang
• Abstract要約: 本稿では,FAME(Fithful Questioning with Monte-carlo planning)を提案する。 我々は,タスクを離散的な意思決定問題として定式化し,推論環境とコントローラの相互作用によって解決する。 FAMEは標準ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 78.02429369951363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large language models demonstrate remarkable question-answering performances, revealing the intermediate reasoning steps that the models faithfully follow remains challenging. In this paper, we propose FAME (FAithful question answering with MontE-carlo planning) to answer questions based on faithful reasoning steps. The reasoning steps are organized as a structured entailment tree, which shows how premises are used to produce intermediate conclusions that can prove the correctness of the answer. We formulate the task as a discrete decision-making problem and solve it through the interaction of a reasoning environment and a controller. The environment is modular and contains several basic task-oriented modules, while the controller proposes actions to assemble the modules. Since the search space could be large, we introduce a Monte-Carlo planning algorithm to do a look-ahead search and select actions that will eventually lead to high-quality steps. FAME achieves state-of-the-art performance on the standard benchmark. It can produce valid and faithful reasoning steps compared with large language models with a much smaller model size.
• Abstract（参考訳）: 大きな言語モデルは驚くべき質問応答性能を示すが、モデルが忠実に従う中間的推論ステップを明らかにすることは依然として困難である。 そこで本稿では,モンテカルロ計画によるファレンス(faithful question answering with monte-carlo planning)を提案する。 推論ステップは構造化された補足木として構成され、回答の正しさを証明する中間的な結論を生み出すために前提がどのように使われるかを示す。 我々は,タスクを離散的な意思決定問題として定式化し,推論環境とコントローラの相互作用によって解決する。 環境はモジュールであり、いくつかの基本的なタスク指向モジュールを含んでいるが、コントローラはモジュールを組み立てるためのアクションを提案する。 検索スペースが大きくなる可能性があるので,モンテカルロ計画アルゴリズムを導入してルックアヘッド検索を行い,最終的に高品質なステップへと導くアクションを選択する。 FAMEは標準ベンチマークで最先端のパフォーマンスを達成する。 モデルサイズがはるかに小さい大きな言語モデルと比較して、有効で忠実な推論ステップを生成することができる。

関連論文リスト

• Zero-Shot Multi-Hop Question Answering via Monte-Carlo Tree Search with Large Language Models [19.214387260667348]
  本稿ではモンテカルロ木探索(MCTS)に基づくMZQA(Zero-shot Multi-hop Question Answering)を提案する。 従来とは違って,通常はドメインの専門知識を必要とする手作りの少数ショットの例をサポートせずに,命令のみに依存するゼロショットプロンプト手法を提案する。 また,MZQA-BCは自己生成MCTS推論軌道を学習し,解析速度を10倍以上に向上させる。
  論文  参考訳（メタデータ） (2024-09-28T15:13:04Z)
• STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering [8.525847131940031]
  マルチホップ質問応答(MHQA)は、複雑な質問に答えるために複数の通路から情報を検索し統合するモデルを必要とする。 近年のシステムでは、大規模言語モデルのパワーを活用し、証拠検索と推論のプロンプトを統合している。 MHQAの制約付き復号法であるSTOC-TOTを提案する。
  論文  参考訳（メタデータ） (2024-07-04T07:17:53Z)
• MoReVQA: Exploring Modular Reasoning Models for Video Question Answering [101.25249395748794]
  本稿では,ビデオ質問応答(videoQA)の課題を,分解した多段階モジュラー推論フレームワークを用いて解決する。 従来の単一ステージ計画手法とは異なり、イベント、グラウンドステージ、最終的な推論ステージからなるマルチステージシステムと外部メモリとの組み合わせを提案する。
  論文  参考訳（メタデータ） (2024-04-09T17:59:31Z)
• Generative Models as a Complex Systems Science: How can we make sense of large language model behavior? [75.79305790453654]
  事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。 言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
  論文  参考訳（メタデータ） (2023-07-31T22:58:41Z)
• Question Decomposition Improves the Faithfulness of Model-Generated Reasoning [23.34325378824462]
  大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。 一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。 このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。 分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
  論文  参考訳（メタデータ） (2023-07-17T00:54:10Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning [14.663216851932646]
  言語モデルは1ステップの推論タスクでかなりうまく機能する傾向があるが、より複雑な問題を解決するために複数の推論ステップをチェーン化するのに苦労している。 本稿では,事前学習したLLMを汎用処理モジュールとして活用する選択推論(SI)フレームワークを提案する。 5ショットの一般化設定でSIフレームワーク内で使用する 7B パラメータ LLM が微調整なしで,100% 以上の性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-19T17:25:28Z)
• METGEN: A Module-Based Entailment Tree Generation Framework for Answer Explanation [59.33241627273023]
  複数のモジュールと推論コントローラを備えたモジュールベースのEntailment Tree GENフレームワークMETGENを提案する。 質問に対して、METGENは、別々のモジュールで単一ステップのエンタテインメントを実行し、コントローラで推論フローを選択することで、エンタテインメントツリーを反復的に生成することができる。 実験の結果,METGENは従来の最先端モデルよりも9%のパラメータで優れていた。
  論文  参考訳（メタデータ） (2022-05-05T12:06:02Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。