論文の概要: Evaluating Pixel Language Models on Non-Standardized Languages

• arxiv url: http://arxiv.org/abs/2412.09084v1
• Date: Thu, 12 Dec 2024 09:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:33:35.087337
• Title: Evaluating Pixel Language Models on Non-Standardized Languages
• Title（参考訳）: 非標準言語におけるPixel言語モデルの評価
• Authors: Alberto Muñoz-Ortiz, Verena Blaschke, Barbara Plank,
• Abstract要約: ピクセルベースのモデルは、テキストをパッチに分割されたイメージに変換し、連続的な語彙表現を可能にする。 ケーススタディとしてドイツ語を用いて,様々な構文的・意味的タスクにおける画素ベースモデルとトークンベースモデルの比較を行った。
• 参考スコア（独自算出の注目度）: 24.94386050975835
• License:
• Abstract: We explore the potential of pixel-based models for transfer learning from standard languages to dialects. These models convert text into images that are divided into patches, enabling a continuous vocabulary representation that proves especially useful for out-of-vocabulary words common in dialectal data. Using German as a case study, we compare the performance of pixel-based models to token-based models across various syntactic and semantic tasks. Our results show that pixel-based models outperform token-based models in part-of-speech tagging, dependency parsing and intent detection for zero-shot dialect evaluation by up to 26 percentage points in some scenarios, though not in Standard German. However, pixel-based models fall short in topic classification. These findings emphasize the potential of pixel-based models for handling dialectal data, though further research should be conducted to assess their effectiveness in various linguistic contexts.
• Abstract（参考訳）: 標準言語から方言への変換学習のための画素モデルの可能性について検討する。 これらのモデルは、テキストをパッチに分割した画像に変換し、連続的な語彙表現を可能にする。 ケーススタディとしてドイツ語を用いて,様々な構文的・意味的タスクにおける画素ベースモデルとトークンベースモデルの比較を行った。 以上の結果から, 標準ドイツ語ではそうではないが, ゼロショット弁別評価において, 画素ベースモデルはトークンベースモデルよりも, 音声タグ付け, 依存性解析, 意図検出において, 最大26ポイント向上していることがわかった。 しかし、ピクセルベースのモデルはトピック分類では不足している。 これらの知見は, 方言データを扱うための画素モデルの可能性を強調するものであるが, 様々な言語文脈において, それらの有効性を評価するために, さらなる研究が必要である。

関連論文リスト

• Pixology: Probing the Linguistic and Visual Capabilities of Pixel-based Language Models [7.356870418870544]
  Pixelベースの言語モデルは、サブワードベースの言語モデリングに代わる魅力的な選択肢として登場した。 PIXELは、レンダリングされたテキストで事前トレーニングされたビジョントランスフォーマーである。
  論文  参考訳（メタデータ） (2024-10-15T19:21:23Z)
• Reading Is Believing: Revisiting Language Bottleneck Models for Image Classification [4.1205832766381985]
  我々は、画像分類のためのディープラーニングモデルの説明可能性を保証するアプローチとして、言語ボトルネックモデルを再考する。 実験により、現代の画像キャプタと事前訓練された言語モデルを組み合わせた言語ボトルネックモデルにより、ブラックボックスモデルを超える画像分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2024-06-22T10:49:34Z)
• Modeling Orthographic Variation in Occitan's Dialects [3.038642416291856]
  大規模多言語モデルは、前処理時のスペル正規化の必要性を最小限に抑える。 以上の結果から,複数言語モデルでは,前処理時のスペル正規化の必要性が最小限に抑えられていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-30T07:33:51Z)
• Pixel Aligned Language Models [94.32841818609914]
  我々は、位置を入力または出力として捉えることができる視覚言語モデルを開発した。 位置を入力として取ると、モデルが位置条件付きキャプションを実行し、指定対象または領域のキャプションを生成する。 本モデルでは,人間の注意を反映した画素単語対応キャプションを含むLocalized Narrative データセットを事前学習する。
  論文  参考訳（メタデータ） (2023-12-14T18:57:58Z)
• Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
  コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。 各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
  論文  参考訳（メタデータ） (2023-06-02T17:59:09Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。