論文の概要: Ask One More Time: Self-Agreement Improves Reasoning of Language Models in (Almost) All Scenarios

• arxiv url: http://arxiv.org/abs/2311.08154v1
• Date: Tue, 14 Nov 2023 13:30:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 14:01:23.147057
• Title: Ask One More Time: Self-Agreement Improves Reasoning of Language Models in (Almost) All Scenarios
• Title（参考訳）: もう一度質問する:(ほとんど)すべてのシナリオで、セルフアグリメントが言語モデルの推論を改善する
• Authors: Lei Lin, Jiayi Fu, Pengli Liu, Junchen Wan, Fuzheng Zhang, Zhongyuan Wang, Di Zhang, Kun Gai
• Abstract要約: textbfself-agreementは、ほとんどすべてのシナリオに適用できる一般化可能なアンサンブル最適化手法である。 6つの公開推論ベンチマークと優れた一般化能力で、同時に顕著なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 18.169972156287884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although chain-of-thought (CoT) prompting combined with language models has achieved encouraging results on complex reasoning tasks, the naive greedy decoding used in CoT prompting usually causes the repetitiveness and local optimality. To address this shortcoming, ensemble-optimization tries to obtain multiple reasoning paths to get the final answer assembly. However, current ensemble-optimization methods either simply employ rule-based post-processing such as \textit{self-consistency}, or train an additional model based on several task-related human annotations to select the best one among multiple reasoning paths, yet fail to generalize to realistic settings where the type of input questions is unknown or the answer format of reasoning paths is unknown. To avoid their limitations, we propose \textbf{self-agreement}, a generalizable ensemble-optimization method applying in almost all scenarios where the type of input questions and the answer format of reasoning paths may be known or unknown. Self-agreement firstly samples from language model's decoder to generate a \textit{diverse} set of reasoning paths, and subsequently prompts the language model \textit{one more time} to determine the optimal answer by selecting the most \textit{agreed} answer among the sampled reasoning paths. Self-agreement simultaneously achieves remarkable performance on six public reasoning benchmarks and superior generalization capabilities.
• Abstract（参考訳）: チェーン・オブ・シンクレット(CoT)と言語モデルの組み合わせは複雑な推論タスクにおいて促進的な結果をもたらすが、CoTプロンプトで使用される単純なグレディ・デコードは通常、反復性と局所最適性を引き起こす。 この欠点に対処するため、アンサンブル最適化は最終解集合を得るために複数の推論経路を得ようとする。 しかし、現在のアンサンブル最適化手法では、単に \textit{self-consistency}のようなルールベースの後処理を用いるか、複数の推論パスの中で最良のものを選択するタスク関連のヒューマンアノテーションに基づいた追加モデルを訓練するが、入力された質問の種類や推論パスの回答形式が不明な現実的な設定に一般化できない。 その限界を避けるために,入力質問のタイプや推論パスの回答形式が不明な場合,ほぼすべてのシナリオに適用可能な,一般化されたアンサンブル最適化手法である \textbf{self-agreement} を提案する。 まず、言語モデルのデコーダからサンプルを取得して、推論パスの \textit{diverse} 集合を生成し、その後、サンプルされた推論パスの中から最も \textit{agreed} 回答を選択することで、言語モデル \textit{one more time} に最適な回答を決定するように促す。 自己分離は、6つの公開推論ベンチマークと優れた一般化能力を同時に達成する。

関連論文リスト

• STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering [8.525847131940031]
  マルチホップ質問応答(MHQA)は、複雑な質問に答えるために複数の通路から情報を検索し統合するモデルを必要とする。 近年のシステムでは、大規模言語モデルのパワーを活用し、証拠検索と推論のプロンプトを統合している。 MHQAの制約付き復号法であるSTOC-TOTを提案する。
  論文  参考訳（メタデータ） (2024-07-04T07:17:53Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• A Semantic-based Method for Unsupervised Commonsense Question Answering [40.18557352036813]
  ラベル付きタスクデータに依存しないため、教師なしのコモンセンス質問応答は魅力的である。 教師なしコモンセンス質問応答のためのSemantic-based Question Answering法(SEQA)を提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:21:52Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。