論文の概要: Cross-lingual Prompting: Improving Zero-shot Chain-of-Thought Reasoning
across Languages
- arxiv url: http://arxiv.org/abs/2310.14799v1
- Date: Mon, 23 Oct 2023 10:56:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 20:48:18.486321
- Title: Cross-lingual Prompting: Improving Zero-shot Chain-of-Thought Reasoning
across Languages
- Title(参考訳): 言語間プロンプト: 言語間のゼロショット連鎖推論を改善する
- Authors: Libo Qin, Qiguang Chen, Fuxuan Wei, Shijue Huang, Wanxiang Che
- Abstract要約: チェーン・オブ・シント(CoT)は、推論パスを明示的に生成するためにモデルを引き出すことができる。
既存のゼロショットプロンプト技術は単一の言語に限られている。
言語間のゼロショットCoT推論を改善することを目的とした言語間プロンプト(CLP)を導入する。
- 参考スコア(独自算出の注目度): 46.496557448392494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought (CoT) is capable of eliciting models to explicitly generate
reasoning paths, thus promoting reasoning accuracy and attracting increasing
attention. Specifically, zero-shot CoT achieves remarkable improvements in a
wide range of reasoning tasks by simply instructing the LLM with the prompt
"Let's think step by step!". Despite the success of zero-shot CoT, the existing
zero-shot prompting techniques remain limited to a single language, making it
challenging to generalize to other languages and hindering global development.
In this work, we introduce cross-lingual prompting (CLP), aiming to improve
zero-shot CoT reasoning across languages. Specifically, CLP consists of two
main components: (1) cross-lingual alignment prompting and (2) task-specific
solver prompting. The cross-lingual alignment prompting is responsible for
aligning representations across different languages, whereas the task-specific
solver prompting is used to generate the final chain of thoughts and results
for the reasoning task. In addition, we further introduce cross-lingual
self-consistent prompting (CLSP) to ensemble different reasoning paths across
languages. Our experimental evaluations on several benchmarks demonstrate that
CLP and CLSP significantly outperform the existing prompting methods and
achieve state-of-the-art performance. We hope this work will inspire further
breakthroughs in cross-lingual CoT.
- Abstract(参考訳): chain-of-thought (cot) はモデルを誘発して推論パスを明示的に生成し、推論精度を高め、注目を集める。
具体的には、ゼロショットCoTは「ステップバイステップ!」というプロンプトでLSMに指示するだけで、幅広い推論タスクにおいて顕著な改善を実現している。
ゼロショットCoTの成功にもかかわらず、既存のゼロショットプロンプト技術は単一言語に限られており、他の言語に一般化し、グローバルな開発を妨げることは困難である。
本研究では,言語間のゼロショットCoT推論を改善することを目的とした言語間プロンプト(CLP)を提案する。
具体的には、CLPは、(1)言語間アライメントプロンプトと(2)タスク固有のソルバプロンプトの2つの主要コンポーネントから構成される。
言語間アライメントプロンプトは異なる言語間の表現の整合に責任を負うが、タスク固有のソルバプロンプトは、推論タスクの最終的なチェーンを生成するために使用される。
さらに,言語間の異なる推論経路を整理するために,言語間自己整合プロンプト(clsp)を導入する。
CLPとCLSPは既存のプロンプト法を著しく上回り,最先端性能を実現していることを示す。
この取り組みが、言語横断のCoTにさらなるブレークスルーをもたらすことを期待しています。
関連論文リスト
- ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language [53.8622516025736]
そこで本研究では,言語間符号切替方式に基づく,エンドツーエンドのゼロショット対話生成モデルChatZeroを提案する。
多言語DailyDialogとDSTC7-AVSDデータセットの実験は、ChatZeroが元のパフォーマンスの90%以上を達成することを示した。
論文 参考訳(メタデータ) (2024-08-16T13:11:53Z) - xCoT: Cross-lingual Instruction Tuning for Cross-lingual
Chain-of-Thought Reasoning [36.34986831526529]
CoT(Chain-of-Thought)は、大規模言語モデルにおける推論を誘発する強力なテクニックとして登場した。
本稿では,ハイソース言語から低リソース言語へ知識を伝達するための言語間命令微調整フレームワーク(xCOT)を提案する。
論文 参考訳(メタデータ) (2024-01-13T10:53:53Z) - Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts [1.8175282137722093]
CoT(Chain-of-Thought)メソッドは、LLM(Large Language Models)によって複雑なタスクをステップバイステップで解決する。
事前学習データの分布の不均衡のため、多段階推論を実現する能力は英語に限られている。
言語間の相互言語CoT推論を整合させる手法としてクロス言語木(Cross-ToT)を提案する。
論文 参考訳(メタデータ) (2023-11-14T11:49:43Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - Multilingual Relation Classification via Efficient and Effective
Prompting [9.119073318043952]
本稿では,プロンプトベース多言語関係分類(RC)に関する最初の研究について述べる。
本稿では,関係3重項からプロンプトを合成し,クラスラベルの最小翻訳のみを伴う効率的かつ効率的な手法を提案する。
完全教師付き、少数ショット、ゼロショットのシナリオでその性能を評価し、14言語でその有効性を分析した。
論文 参考訳(メタデータ) (2022-10-25T08:40:23Z) - Multi-level Contrastive Learning for Cross-lingual Spoken Language
Understanding [90.87454350016121]
コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。
言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
論文 参考訳(メタデータ) (2022-05-07T13:44:28Z) - GL-CLeF: A Global-Local Contrastive Learning Framework for Cross-lingual
Spoken Language Understanding [74.39024160277809]
この問題に対処するために,グローバルローカルコントラスト学習フレームワーク(GL-CLeF)を提案する。
具体的には、比較学習を採用し、二言語辞書を活用して、同じ発話の多言語ビューを構築する。
GL-CLeFは最高のパフォーマンスを達成し、言語間の類似した文の表現をうまくプルする。
論文 参考訳(メタデータ) (2022-04-18T13:56:58Z) - Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual
Retrieval [51.60862829942932]
本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。
文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。
しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
論文 参考訳(メタデータ) (2021-01-21T00:15:38Z) - On Learning Universal Representations Across Languages [37.555675157198145]
文レベルの表現を学習するための既存のアプローチを拡張し、言語間理解と生成の有効性を示す。
具体的には,複数の言語に分散した並列文の普遍表現を学習するための階層型コントラスト学習(HiCTL)手法を提案する。
我々は、XTREMEと機械翻訳という2つの難解な言語間タスクについて評価を行う。
論文 参考訳(メタデータ) (2020-07-31T10:58:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。