論文の概要: Leveraging Knowledge in Multilingual Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2110.08462v1
- Date: Sat, 16 Oct 2021 03:51:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:42:19.544756
- Title: Leveraging Knowledge in Multilingual Commonsense Reasoning
- Title(参考訳): 多言語コモンセンス推論における知識の活用
- Authors: Yuwei Fang, Shuohang Wang, Yichong Xu, Ruochen Xu, Siqi Sun, Chenguang
Zhu, Michael Zeng
- Abstract要約: 本稿では,翻訳・検索・翻訳(TRT)戦略を用いて,英語の知識ソースを活用することを提案する。
多言語コモンセンスの質問や選択に対して,知識ソースからの翻訳や検索を通じて関連する知識を収集する。
検索した知識は対象言語に翻訳され、事前訓練された多言語言語モデルに統合される。
- 参考スコア(独自算出の注目度): 25.155987513306854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Commonsense reasoning (CSR) requires the model to be equipped with general
world knowledge. While CSR is a language-agnostic process, most comprehensive
knowledge sources are in few popular languages, especially English. Thus, it
remains unclear how to effectively conduct multilingual commonsense reasoning
(XCSR) for various languages. In this work, we propose to utilize English
knowledge sources via a translate-retrieve-translate (TRT) strategy. For
multilingual commonsense questions and choices, we collect related knowledge
via translation and retrieval from the knowledge sources. The retrieved
knowledge is then translated into the target language and integrated into a
pre-trained multilingual language model via visible knowledge attention. Then
we utilize a diverse of 4 English knowledge sources to provide more
comprehensive coverage of knowledge in different formats. Extensive results on
the XCSR benchmark demonstrate that TRT with external knowledge can
significantly improve multilingual commonsense reasoning in both zero-shot and
translate-train settings, outperforming 3.3 and 3.6 points over the previous
state-of-the-art on XCSR benchmark datasets (X-CSQA and X-CODAH).
- Abstract(参考訳): commonsense reasoning (csr) では、モデルが一般的な世界知識を備える必要がある。
csrは言語に依存しないプロセスであるが、ほとんどの包括的知識ソースは、人気のある言語、特に英語ではほとんどない。
したがって,多言語共通文推論 (XCSR) を効果的に行う方法は不明である。
本研究では,翻訳翻訳(TRT)戦略を用いて,英語の知識ソースを活用することを提案する。
多言語コモンセンスの質問や選択に対して,知識ソースからの翻訳や検索を通じて関連する知識を収集する。
得られた知識は対象言語に翻訳され、可視的知識の注意を通して事前訓練された多言語モデルに統合される。
そして、4つの英語知識ソースを多種多様なフォーマットでより包括的な知識のカバレッジを提供する。
XCSRベンチマークの広範な結果は、XCSRベンチマークデータセット(X-CSQAとX-CODAH)よりも3.3および3.6ポイント高いゼロショットとトランスレーショナルトレインの両方の設定において、外部知識を持つTRTが多言語コモンセンス推論を大幅に改善できることを示した。
関連論文リスト
- Language Representation Projection: Can We Transfer Factual Knowledge
across Languages in Multilingual Language Models? [48.88328580373103]
パラメータフリーの$textbfL$anguage $textbfR$epresentation $textbfP$rojection Module (LRP2)を提案する。
第1のモジュールは非英語の表現を英語のような同値に変換し、第2のモジュールは英語のような表現を対応する非英語の表現に戻す。
mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
論文 参考訳(メタデータ) (2023-11-07T08:16:16Z) - CL-MASR: A Continual Learning Benchmark for Multilingual ASR [15.974765568276615]
連続学習環境における多言語自動音声認識のベンチマークであるCL-MASRを提案する。
CL-MASRは、大規模事前訓練されたASRモデル上に実装された多種多様な連続学習手法と共通のメトリクスを提供する。
我々の知る限り、CL-MASRは多言語ASRタスクのための最初の連続学習ベンチマークである。
論文 参考訳(メタデータ) (2023-10-25T18:55:40Z) - CLICKER: Attention-Based Cross-Lingual Commonsense Knowledge Transfer [5.375217612596619]
本稿では,注目度に基づくクロスリンガル・コモンセンス・ナレッジ・トランスファーフレームワークを提案する。
CLICKERは、常識的な質問応答タスクにおいて、英語と非英語のパフォーマンスギャップを最小限にする。
CLICKERは、英語以外の言語に対する言語間タスクにおいて、顕著な改善を実現している。
論文 参考訳(メタデータ) (2023-02-26T00:57:29Z) - Overcoming Language Disparity in Online Content Classification with
Multimodal Learning [22.73281502531998]
大規模言語モデルは、テキスト検出と分類タスクのための最先端のソリューションを開発するための標準となっている。
高度な計算技術と資源の開発は、英語に不相応に焦点が当てられている。
マルチモーダル機械学習を用いて画像に含まれる情報を統合するという約束を探求する。
論文 参考訳(メタデータ) (2022-05-19T17:56:02Z) - Knowledge Based Multilingual Language Model [44.70205282863062]
知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。
我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。
生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
論文 参考訳(メタデータ) (2021-11-22T02:56:04Z) - Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。
既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。
複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
論文 参考訳(メタデータ) (2021-10-16T02:08:46Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z) - Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。
探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。
実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-11T20:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。