論文の概要: Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts
- arxiv url: http://arxiv.org/abs/2311.08097v1
- Date: Tue, 14 Nov 2023 11:49:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:28:03.911841
- Title: Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts
- Title(参考訳): 語義木による多段階推論の強化
- Authors: Leonardo Ranaldi, Fabio Massimo Zanzotto
- Abstract要約: CoT(Chain-of-Thought)は大規模言語モデル(LLM)の推論能力を促進する
事前学習データの分布の不均衡のため、多段階推論を実現する能力は英語に限られている。
本稿では,多言語多段階推論手法を提案する。
- 参考スコア(独自算出の注目度): 1.9217872171227137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-Thought (CoT) prompting empowers the reasoning abilities of Large
Language Models (LLMs), eliciting them to solve complex reasoning tasks
step-by-step. However, with the success of CoT methods, the ability to deliver
multi-step reasoning remains limited to English due to the imbalance in the
distribution of the pre-training data, making the other languages a barrier.
In this work, we propose a Cross-lingual multi-step reasoning approach,
aiming to align reasoning processes across different languages. In particular,
our method, through a Self-consistent Cross-lingual prompting mechanism
inspired by the Tree-of-Thoughts approach, delivers multi-step reasoning paths
in different languages that, during the steps, lead to the final solution. Our
experimental evaluations show that our method significantly outperforms
existing prompting methods, reducing the number of interactions and achieving
state-of-the-art performance.
- Abstract(参考訳): CoT(Chain-of-Thought)は大規模言語モデル(LLM)の推論能力を促進させ、複雑な推論タスクを段階的に解決する。
しかし、CoT法の成功により、事前学習データの分布の不均衡のため、多段階推論を実現する能力は英語に限られており、他の言語は障壁となっている。
本稿では,異なる言語間の推論プロセスを整合させることを目的とした,言語間多段階推論手法を提案する。
特に,本手法は,Tree-of-Thoughtsアプローチにインスパイアされた自己一貫性のクロス言語的プロンプト機構を通じて,各言語に複数ステップの推論経路を提供し,その過程で最終解が導かれる。
実験結果から,提案手法は既存のプロンプト手法を大幅に上回り,インタラクション数を減らし,最先端の性能を実現する。
関連論文リスト
- DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning
in Language Models [28.712359821231182]
大規模言語モデル(LLM)は、思考の連鎖(CoT)を利用して人間の思考を模倣することによって、言語モダリティの多段階的推論において顕著な進歩を遂げた。
これらの進歩をマルチモーダルな文脈に移すことは、労働集約的アノテーションの非現実的な必要性に限らず、より高い課題をもたらす。
本研究では,複数モーダリティを推論に組み込んだDDCoTプロンプトを提案する。
論文 参考訳(メタデータ) (2023-10-25T08:03:10Z) - Cross-lingual Prompting: Improving Zero-shot Chain-of-Thought Reasoning
across Languages [46.496557448392494]
チェーン・オブ・シント(CoT)は、推論パスを明示的に生成するためにモデルを引き出すことができる。
既存のゼロショットプロンプト技術は単一の言語に限られている。
言語間のゼロショットCoT推論を改善することを目的とした言語間プロンプト(CLP)を導入する。
論文 参考訳(メタデータ) (2023-10-23T10:56:03Z) - Diversity of Thought Improves Reasoning Abilities of LLMs [26.149914503910235]
大規模言語モデル(LLM)は、複雑な推論を必要とする設定で苦労するために文書化されている。
我々は、思考の多様性の手段として、入力プロンプトのバリエーションを作成し、活用する方法について議論する。
論文 参考訳(メタデータ) (2023-10-11T00:01:41Z) - Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context
Reasoning with Language Models [58.41943058963672]
我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。
RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。
GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
論文 参考訳(メタデータ) (2023-06-12T06:34:16Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。
実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
論文 参考訳(メタデータ) (2022-01-28T02:33:07Z) - It's All in the Heads: Using Attention Heads as a Baseline for
Cross-Lingual Transfer in Commonsense Reasoning [4.200736775540874]
我々は,重みを重み付けした線形分類器を特徴として訓練するコモンセンス推論への簡単なアプローチを設計する。
本手法は,近年のコモンセンス推論における教師なし・教師なしの手法と競合する。
パフォーマンスの大部分は、すべての研究対象言語に対する注目の小さなサブセットによって与えられる。
論文 参考訳(メタデータ) (2021-06-22T21:25:43Z) - Multilingual Chart-based Constituency Parse Extraction from Pre-trained
Language Models [21.2879567125422]
本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。
本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
論文 参考訳(メタデータ) (2020-04-08T05:42:26Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳(メタデータ) (2020-03-24T19:09:37Z) - Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。
提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。
また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
論文 参考訳(メタデータ) (2019-12-28T16:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。