論文の概要: Uncertainty in Semantic Language Modeling with PIXELS

• arxiv url: http://arxiv.org/abs/2509.19563v1
• Date: Tue, 23 Sep 2025 20:43:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.600976
• Title: Uncertainty in Semantic Language Modeling with PIXELS
• Title（参考訳）: PIXELSを用いた意味言語モデリングの不確かさ
• Authors: Stefania Radu, Marco Zullich, Matias Valdenegro-Toro,
• Abstract要約: この研究は18言語と7つのスクリプトにわたる画素ベースの言語モデルに対する不確実性と信頼性の分析から成っている。 その結果,画素ベースモデルではパッチ再構築時の不確実性を過小評価することが示唆された。 この不確実性は、ラテン文字の影響も受けており、不確実性は低い。
• 参考スコア（独自算出の注目度）: 8.169239405091819
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Pixel-based language models aim to solve the vocabulary bottleneck problem in language modeling, but the challenge of uncertainty quantification remains open. The novelty of this work consists of analysing uncertainty and confidence in pixel-based language models across 18 languages and 7 scripts, all part of 3 semantically challenging tasks. This is achieved through several methods such as Monte Carlo Dropout, Transformer Attention, and Ensemble Learning. The results suggest that pixel-based models underestimate uncertainty when reconstructing patches. The uncertainty is also influenced by the script, with Latin languages displaying lower uncertainty. The findings on ensemble learning show better performance when applying hyperparameter tuning during the named entity recognition and question-answering tasks across 16 languages.
• Abstract（参考訳）: 画素ベースの言語モデルは、言語モデリングにおける語彙ボトルネック問題を解決することを目的としているが、不確実性定量化の課題は未解決のままである。 この研究の斬新さは、18の言語と7つのスクリプトにわたるピクセルベースの言語モデルの不確実性と信頼性の分析である。 これはMonte Carlo Dropout、Transformer Attention、Ensemble Learningといったいくつかの手法によって実現されている。 その結果,画素ベースモデルではパッチ再構築時の不確実性を過小評価することが示唆された。 この不確実性は、ラテン文字の影響も受けており、不確実性は低い。 アンサンブル学習の結果は、16言語にまたがるエンティティ認識と質問応答タスクにおいて,ハイパーパラメータチューニングを適用する際の性能が向上した。

関連論文リスト

• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Evaluating Pixel Language Models on Non-Standardized Languages [24.94386050975835]
  ピクセルベースのモデルは、テキストをパッチに分割されたイメージに変換し、連続的な語彙表現を可能にする。 ケーススタディとしてドイツ語を用いて,様々な構文的・意味的タスクにおける画素ベースモデルとトークンベースモデルの比較を行った。
  論文  参考訳（メタデータ） (2024-12-12T09:11:45Z)
• Pixology: Probing the Linguistic and Visual Capabilities of Pixel-based Language Models [7.356870418870544]
  Pixelベースの言語モデルは、サブワードベースの言語モデリングに代わる魅力的な選択肢として登場した。 PIXELは、レンダリングされたテキストで事前トレーニングされたビジョントランスフォーマーである。
  論文  参考訳（メタデータ） (2024-10-15T19:21:23Z)
• Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings [5.257719744958367]
  この論文は、事前学習された言語モデル(PLM)の本質的な知識を活用することによって、テキスト分類における3つの挑戦的な設定を探求する。 本研究では, PLMの文脈表現に基づく特徴量を利用したモデルを構築し, 人間の精度に匹敵する, あるいは超越する性能を実現する。 最後に、実効的な実演を選択することで、大規模言語モデルの文脈内学習プロンプトに対する感受性に取り組む。
  論文  参考訳（メタデータ） (2024-08-28T09:07:30Z)
• Why Does Zero-Shot Cross-Lingual Generation Fail? An Explanation and a Solution [0.9085116579988537]
  細調整プロセスは言語不変表現を学習し、分類タスクには有益であるが、生成タスクには有害であることを示す。 3つの意味的に多様な生成タスクの実験により,提案手法は事故翻訳問題を68%削減し,ROUGE-Lスコアを平均1.5改善した。
  論文  参考訳（メタデータ） (2023-05-27T02:04:19Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English [17.993417004424078]
  トランスフォーマーに基づく言語モデルは、様々なタスクにおいて高いパフォーマンスを達成するが、それらが学習し、依存する言語知識の理解はいまだに不足している。 文レベルの探索, 診断事例, マスク付き予測タスクにより, 文法的および意味的知識をテストする3つのモデル(BERT, RoBERTa, ALBERT)を評価した。
  論文  参考訳（メタデータ） (2020-11-02T13:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。