論文の概要: Leveraging Knowledge in Multilingual Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2110.08462v1
• Date: Sat, 16 Oct 2021 03:51:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 15:42:19.544756
• Title: Leveraging Knowledge in Multilingual Commonsense Reasoning
• Title（参考訳）: 多言語コモンセンス推論における知識の活用
• Authors: Yuwei Fang, Shuohang Wang, Yichong Xu, Ruochen Xu, Siqi Sun, Chenguang Zhu, Michael Zeng
• Abstract要約: 本稿では,翻訳・検索・翻訳(TRT)戦略を用いて,英語の知識ソースを活用することを提案する。 多言語コモンセンスの質問や選択に対して,知識ソースからの翻訳や検索を通じて関連する知識を収集する。 検索した知識は対象言語に翻訳され、事前訓練された多言語言語モデルに統合される。
• 参考スコア（独自算出の注目度）: 25.155987513306854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense reasoning (CSR) requires the model to be equipped with general world knowledge. While CSR is a language-agnostic process, most comprehensive knowledge sources are in few popular languages, especially English. Thus, it remains unclear how to effectively conduct multilingual commonsense reasoning (XCSR) for various languages. In this work, we propose to utilize English knowledge sources via a translate-retrieve-translate (TRT) strategy. For multilingual commonsense questions and choices, we collect related knowledge via translation and retrieval from the knowledge sources. The retrieved knowledge is then translated into the target language and integrated into a pre-trained multilingual language model via visible knowledge attention. Then we utilize a diverse of 4 English knowledge sources to provide more comprehensive coverage of knowledge in different formats. Extensive results on the XCSR benchmark demonstrate that TRT with external knowledge can significantly improve multilingual commonsense reasoning in both zero-shot and translate-train settings, outperforming 3.3 and 3.6 points over the previous state-of-the-art on XCSR benchmark datasets (X-CSQA and X-CODAH).
• Abstract（参考訳）: commonsense reasoning (csr) では、モデルが一般的な世界知識を備える必要がある。 csrは言語に依存しないプロセスであるが、ほとんどの包括的知識ソースは、人気のある言語、特に英語ではほとんどない。 したがって,多言語共通文推論 (XCSR) を効果的に行う方法は不明である。 本研究では,翻訳翻訳(TRT)戦略を用いて,英語の知識ソースを活用することを提案する。 多言語コモンセンスの質問や選択に対して,知識ソースからの翻訳や検索を通じて関連する知識を収集する。 得られた知識は対象言語に翻訳され、可視的知識の注意を通して事前訓練された多言語モデルに統合される。 そして、4つの英語知識ソースを多種多様なフォーマットでより包括的な知識のカバレッジを提供する。 XCSRベンチマークの広範な結果は、XCSRベンチマークデータセット(X-CSQAとX-CODAH)よりも3.3および3.6ポイント高いゼロショットとトランスレーショナルトレインの両方の設定において、外部知識を持つTRTが多言語コモンセンス推論を大幅に改善できることを示した。

関連論文リスト

• Not All Languages are Equal: Insights into Multilingual Retrieval-Augmented Generation [38.631934251052485]
  我々は,このベンチマークを用いて6つの多言語ALMを評価し,多言語ALMの課題について検討した。 オープンソースの言語はモノリンガル知識抽出において際立っている。 インド・ヨーロッパ語は RALM を指導し、文書から直接回答を提供する。 英語は、ALMsの選択バイアスから恩恵を受け、多言語知識の選択においてより大声で話す。
  論文  参考訳（メタデータ） (2024-10-29T11:53:19Z)
• Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• CLICKER: Attention-Based Cross-Lingual Commonsense Knowledge Transfer [5.375217612596619]
  本稿では,注目度に基づくクロスリンガル・コモンセンス・ナレッジ・トランスファーフレームワークを提案する。 CLICKERは、常識的な質問応答タスクにおいて、英語と非英語のパフォーマンスギャップを最小限にする。 CLICKERは、英語以外の言語に対する言語間タスクにおいて、顕著な改善を実現している。
  論文  参考訳（メタデータ） (2023-02-26T00:57:29Z)
• Overcoming Language Disparity in Online Content Classification with Multimodal Learning [22.73281502531998]
  大規模言語モデルは、テキスト検出と分類タスクのための最先端のソリューションを開発するための標準となっている。 高度な計算技術と資源の開発は、英語に不相応に焦点が当てられている。 マルチモーダル機械学習を用いて画像に含まれる情報を統合するという約束を探求する。
  論文  参考訳（メタデータ） (2022-05-19T17:56:02Z)
• Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
  複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。 既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。 複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
  論文  参考訳（メタデータ） (2021-10-16T02:08:46Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。