論文の概要: Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study

• arxiv url: http://arxiv.org/abs/2311.06549v1
• Date: Sat, 11 Nov 2023 11:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-11-14 18:10:21.648789
• Title: Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study
• Title（参考訳）: 分布シフトによるゼロショット言語間感性分類 : 探索的研究
• Authors: Maarten De Raedt, Semere Kiros Bitew, Fr\'ederic Godin, Thomas Demeester and Chris Develder
• Abstract要約: 我々は、ゼロショットの言語間転送設定において、out-of-distriion(OOD)テストデータへの一般化について研究する。 我々は、トレインデータとテストデータ間の言語とドメインのシフトによるパフォーマンスへの影響を分析する。 我々は,コストのかかるアノテーションプロセスを避けるため,OOD一般化のための2つの新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 11.299638372051795
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The brittleness of finetuned language model performance on out-of-distribution (OOD) test samples in unseen domains has been well-studied for English, yet is unexplored for multi-lingual models. Therefore, we study generalization to OOD test data specifically in zero-shot cross-lingual transfer settings, analyzing performance impacts of both language and domain shifts between train and test data. We further assess the effectiveness of counterfactually augmented data (CAD) in improving OOD generalization for the cross-lingual setting, since CAD has been shown to benefit in a monolingual English setting. Finally, we propose two new approaches for OOD generalization that avoid the costly annotation process associated with CAD, by exploiting the power of recent large language models (LLMs). We experiment with 3 multilingual models, LaBSE, mBERT, and XLM-R trained on English IMDb movie reviews, and evaluate on OOD test sets in 13 languages: Amazon product reviews, Tweets, and Restaurant reviews. Results echo the OOD performance decline observed in the monolingual English setting. Further, (i) counterfactuals from the original high-resource language do improve OOD generalization in the low-resource language, and (ii) our newly proposed cost-effective approaches reach similar or up to +3.1% better accuracy than CAD for Amazon and Restaurant reviews.
• Abstract（参考訳）: unseenドメインのout-of-distribution(ood)テストサンプルにおける微調整された言語モデルのパフォーマンスの脆さは、英語でよく研究されているが、多言語モデルでは未検討である。 そこで本研究では,OODテストデータのゼロショット言語間転送設定における一般化について検討し,列車データとテストデータ間の言語とドメインのシフトが与える影響を解析した。 さらに,単言語的な英語設定ではCADが有用であることが示されているため,OODの一般化改善におけるCADの有効性について検討した。 最後に,最近の大規模言語モデル(LLM)のパワーを活用し,CADに関連付けられたコストのかかるアノテーションプロセスを回避するための2つの新しいOOD一般化手法を提案する。 英語のimdb movie reviewsでトレーニングされた labse, mbert, xlm-rの3つの多言語モデルを用いて実験を行い,amazon product reviews, tweet, restaurant reviewsの13言語でoodテストセットを評価した。 その結果,単言語英語ではOODの低下がみられた。 さらに (i)もともとの高リソース言語からの反事実は低リソース言語のOOD一般化を改善し、 (II) 新たに提案したコスト効率のアプローチは,Amazon および Restaurant のレビューにおいて CAD と同等あるいは最大で 3.1% の精度に達する。

関連論文リスト

• CogBench: A Large Language Model Benchmark for Multilingual Speech-Based Cognitive Impairment Assessment [13.74065648648307]
  音声に基づく認知障害評価のための大規模言語モデルの言語間およびサイト間一般化性を評価するための最初のベンチマークであるCagBenchを提案する。 以上の結果から,従来のディープラーニングモデルはドメイン間で変換されると大幅に劣化することがわかった。 本研究は,臨床的に有用で言語学的に堅牢な音声に基づく認知評価ツールを構築するための重要なステップを提供する。
  論文  参考訳（メタデータ） (2025-08-05T12:06:16Z)
• Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings [1.1556013985948772]
  インドネシアの低リソース言語への事前学習言語モデルの転送性を評価する。 私たちはターゲット言語を、見る、見る、見る、見る、見えない3つのカテゴリに分類します。 マルチ言語モデルは、目に見える言語で、部分的に見られる言語では適度に、目に見えない言語では劣る。 対象言語にラベル付きデータを必要としないため,MAD-Xは性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-07-02T12:17:55Z)
• Evaluating the Effectiveness of Linguistic Knowledge in Pretrained Language Models: A Case Study of Universal Dependencies [0.6961946145048322]
  普遍依存(UD)は、言語間シンタクティック表現において最も成功した言語フレームワークとみなされている。 本稿では, 言語間対数パラフレーズ識別タスクにおいて, UDが性能を向上できるかどうかを評価する。
  論文  参考訳（メタデータ） (2025-06-05T11:10:14Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Harnessing Large Language and Vision-Language Models for Robust Out-of-Distribution Detection [11.277049921075026]
  Out-of-distribution (OOD) 検出はゼロショットアプローチで大幅に進歩した。 本稿では,Far-OODシナリオとNear-OODシナリオの両方において,ゼロショットOOD検出性能を向上させる新しい手法を提案する。 本稿では,提案フレームワークを目標分布に適合させるために,新しい数発のプロンプトチューニングと視覚的プロンプトチューニングを導入する。
  論文  参考訳（メタデータ） (2025-01-09T13:36:37Z)
• A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification [1.566834021297545]
  本研究は,言語間クレーム検証における翻訳バイアスと大規模言語モデルの有効性を体系的に評価する。 本稿では,事前翻訳と自己翻訳の2つの異なる翻訳手法について検討する。 その結果,低リソース言語では表現不足による直接推論の精度が著しく低いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T09:02:42Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Zero-shot Cross-lingual Stance Detection via Adversarial Language Adaptation [7.242609314791262]
  本稿では,ゼロショット言語間スタンス検出,多言語翻訳拡張BERT (MTAB) に対する新しいアプローチを提案する。 本手法では,ゼロショット性能を向上させるために翻訳拡張を用い,モデルの有効性をさらに向上するために,対角学習と組み合わせる。 提案手法の有効性を実証し,強力なベースラインモデルと改良されたモデルとの比較を行った。
  論文  参考訳（メタデータ） (2024-04-22T16:56:43Z)
• A Multilingual Evaluation of NER Robustness to Adversarial Inputs [0.0]
  言語モデルの敵対的評価は典型的には英語のみに焦点をあてる。 本稿では,入力中の小さな摂動に対する頑健性の観点から,名前付きエンティティ認識(NER)の多言語評価を行った。 既存のNERモデルに適応するために,新たなNERモデルをトレーニングするための強化トレーニングデータとして,生成した逆数データセットの一部を用いて既存のNERモデルを改善することが可能か,あるいは微調整データとして検討した。
  論文  参考訳（メタデータ） (2023-05-30T10:50:49Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Self-Learning for Zero Shot Neural Machine Translation [13.551731309506874]
  本研究は、並列データを共有するピボット言語を仮定せずに学習するゼロショットNMTモデリング手法を提案する。 教師なしNMTと比較して、ドメインミスマッチ設定でも一貫した改善が観察される。
  論文  参考訳（メタデータ） (2021-03-10T09:15:19Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。