論文の概要: Cross-Dialect Information Retrieval: Information Access in Low-Resource and High-Variance Languages

• arxiv url: http://arxiv.org/abs/2412.12806v2
• Date: Mon, 06 Jan 2025 16:27:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:03:57.171189
• Title: Cross-Dialect Information Retrieval: Information Access in Low-Resource and High-Variance Languages
• Title（参考訳）: クロスディレクト情報検索:低リソース・高分散言語における情報アクセス
• Authors: Robert Litschko, Oliver Kraus, Verena Blaschke, Barbara Plank,
• Abstract要約: 地域や文化特有の知識は、方言で書かれた文書にしか見つからない。 我々は、ウィキペディアから抽出された7つのドイツ語方言からなる最初のドイツ語方言検索データセット、WikiDIRを紹介した。 マルチリンガルエンコーダを用いたゼロショット・クロスリンガル変換手法は, 極低リソース化には適さないことを示す。
• 参考スコア（独自算出の注目度）: 23.947119147068925
• License:
• Abstract: A large amount of local and culture-specific knowledge (e.g., people, traditions, food) can only be found in documents written in dialects. While there has been extensive research conducted on cross-lingual information retrieval (CLIR), the field of cross-dialect retrieval (CDIR) has received limited attention. Dialect retrieval poses unique challenges due to the limited availability of resources to train retrieval models and the high variability in non-standardized languages. We study these challenges on the example of German dialects and introduce the first German dialect retrieval dataset, dubbed WikiDIR, which consists of seven German dialects extracted from Wikipedia. Using WikiDIR, we demonstrate the weakness of lexical methods in dealing with high lexical variation in dialects. We further show that commonly used zero-shot cross-lingual transfer approach with multilingual encoders do not transfer well to extremely low-resource setups, motivating the need for resource-lean and dialect-specific retrieval models. We finally demonstrate that (document) translation is an effective way to reduce the dialect gap in CDIR.
• Abstract（参考訳）: 地域や文化に特有な知識(人、伝統、食べ物など)は方言で書かれた文書でのみ見られる。 言語間情報検索(CLIR)について広範な研究が行われてきたが、クロスダイアレクト検索(CDIR)の分野は注目されていない。 辞書検索は、学習モデルのためのリソースの不足と、非標準言語における高い可変性のために、ユニークな課題を生んでいる。 ドイツ語方言の例として,これらの課題について研究を行い,ウィキペディアから抽出された7つのドイツ語方言からなる最初のドイツ語方言検索データセットであるWikiDIRを紹介した。 WikiDIRを用いて,方言の語彙変化に対処する際の語彙手法の弱点を実証する。 さらに,多言語エンコーダを用いたゼロショット・クロスリンガル・トランスファー手法は,低リソース・セットアップには適さないことを示し,リソース・リーンおよび方言固有の検索モデルの必要性を動機付けている。 最終的に、(文書)翻訳がCDIRの方言ギャップを減らす効果的な方法であることを実証した。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Multilingual acoustic word embeddings for zero-resource languages [1.5229257192293204]
  音響単語埋め込み (AWE) - 可変重み付き音声セグメントの固定次元表現。 この研究は、ゼロリソース言語上の既存のAWEモデルを上回る、新しいニューラルネットワークを導入している。 AWEは、スワヒリ放送におけるヘイトスピーチ検出のためのキーワードスポッティングシステムに適用される。
  論文  参考訳（メタデータ） (2024-01-19T08:02:37Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge [57.38948190611797]
  本稿では,特に低リソース言語を対象とした新しい唇読解フレームワークを提案する。 低リソース言語は、そのモデルを訓練するのに十分なビデオテキストペアデータを持っていないため、低リソース言語のための唇読解モデルを開発するのは難しいと考えられている。
  論文  参考訳（メタデータ） (2023-08-18T05:19:03Z)
• Breaking Language Barriers with MMTweets: Advancing Cross-Lingual Debunked Narrative Retrieval for Fact-Checking [5.880794128275313]
  言語横断的な物語検索は未検討の問題である。 本研究は, 言語間分離された物語検索を導入し, (i)多言語誤報ツイート(MMTweets)を作成することにより, この研究ギャップに対処する。 MMTweetsは、言語間のペア、画像、人間のアノテーション、きめ細かいラベルを特徴としている。 MMTweetsは言語横断的な物語検索の課題を示し,検索モデルの改善領域を強調している。
  論文  参考訳（メタデータ） (2023-08-10T16:33:17Z)
• Transfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese [54.00582760714034]
  言語間のNLP転送は、高ソース言語のデータとモデルを活用することで改善できる。 我々は、名前付きエンティティ認識(NER)、セマンティックテキスト類似性(STS)、スカンジナビア全言語で訓練された新しい言語モデルのためのFaroeseデータセットとFaroeseデータセットの新しいWebコーパスをリリースする。
  論文  参考訳（メタデータ） (2023-04-18T08:42:38Z)
• From Masked Language Modeling to Translation: Non-English Auxiliary Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
  非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。 本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。 その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
  論文  参考訳（メタデータ） (2021-05-15T23:51:11Z)
• Design Challenges in Low-resource Cross-lingual Entity Linking [56.18957576362098]
  言語間エンティティリンク (XEL) は、外国語テキスト中のエンティティの言及をウィキペディアのような英語の知識ベースに根拠付ける問題である。 本稿は、英語のウィキペディアの候補タイトルを、特定の外国語の言及に対応付けて識別する重要なステップに焦点を当てる。 本稿では,検索エンジンのクエリログを利用した簡易で効果的なゼロショットXELシステムQuELを提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:00:26Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。