論文の概要: Beyond Clean Accuracy: The Practical Challenges and Benefits of Pixel-Based Language Models

• arxiv url: http://arxiv.org/abs/2610.24290v1
• Date: Fri, 16 Oct 2026 22:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 02:36:42.601526
• Title: Beyond Clean Accuracy: The Practical Challenges and Benefits of Pixel-Based Language Models
• Title（参考訳）: クリーンな正確さを超えて - Pixelベースの言語モデルの実践的課題とメリット
• Abstract要約: ピクセルベースの言語モデルは、固定されたサブワード語彙に頼ることなく、レンダリングされたテキストを処理する。 本研究では, 微調整動作, タイポグラフィーの堅牢性, ゼロショットのクロスリンガル移動などを通じて, この問題を考察する。 トークン化をレンダリングに置き換えることで、劣化や不慣れな入力に対する感度が低下するが、下流適応への中心的なボトルネックがシフトする。
• 参考スコア（独自算出の注目度）: 48.14747859337046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pixel-based language models process rendered text without relying on a fixed subword vocabulary, offering a promising approach to noisy and multilingual inputs. However, their practical value depends on whether they can be reliably adapted to downstream tasks. To this end, we systematically examine this question through fine-tuning behavior, typographical robustness, and zero-shot crosslingual transfer. Under our tested settings, pixel-based models require longer training and broader labelled-data coverage than text-based models, while delayed learning and learning-rate-dependent failures make adaptation less reliable. Our analyses further suggest that task-relevant information is less readily accessible in pretrained pixel representations, placing greater demands on fine-tuning. Once successfully adapted, however, pixel-based models lose substantially less accuracy under typographical noise and achieve higher target-language accuracy than English-pretrained text-based counterparts on two crosslingual benchmarks, despite weaker clean English performance. Together, these findings reveal a central trade-off: replacing tokenization with rendering reduces sensitivity to corrupted and unfamiliar inputs, but shifts a central bottleneck to downstream adaptation.
• Abstract（参考訳）: ピクセルベースの言語モデルは、固定されたサブワード語彙を使わずにレンダリングされたテキストを処理し、ノイズや多言語入力に対する有望なアプローチを提供する。 しかし、その実践的価値は、下流のタスクに確実に適応できるかどうかに依存する。 そこで本研究では, 微調整動作, タイポグラフィーの堅牢性, ゼロショットのクロスリンガル移動などを通じて, この問題を系統的に検討する。 テストした設定では、ピクセルベースのモデルはテキストベースのモデルよりも長いトレーニングと広範なラベル付きデータカバレッジを必要としますが、遅延学習と学習時間依存の失敗は適応の信頼性を低下させます。 さらに,タスク関連情報が事前訓練された画素表現ではアクセスしにくく,微調整の要求が大きくなることが示唆された。 しかし、一度適応を成功させると、タイポグラフィーノイズ下ではピクセルベースのモデルは大幅に精度が低下し、より清潔な英語性能にもかかわらず、2つの言語間ベンチマークで英語に制限されたテキストベースのモデルよりも高い目標言語精度が得られる。 トークン化をレンダリングに置き換えることで、破損した入力や慣れていない入力に対する感度が低下するが、下流適応への中心的なボトルネックがシフトする。

関連論文リスト

• Adapting Language Balance in Code-Switching Speech [60.296574524609575]
  大規模な基礎モデルは、コードスイッチングテストケースといまだに苦労しています。 我々は、世代間のコンテキストバイアスを軽減するために、微分可能なサロゲートを使用します。 アラビア語と中国語による実験では、モデルの切り替え位置をより正確に予測できることが示されている。
  論文  参考訳（メタデータ） (2025-10-21T15:23:55Z)
• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Learning Robust Negation Text Representations [60.23044940174016]
  本稿では,テキストエンコーダの否定とヘッジを多種多様なパターンを用いて改善する戦略を提案する。 我々は,一般的なベンチマーク上での競合性能を維持しつつ,否定理解能力の大幅な向上を観察する。 提案手法は LLM に適用可能であり, ネゲーションベンチマークの性能向上に寄与する。
  論文  参考訳（メタデータ） (2025-07-17T04:48:54Z)
• Overcoming Vocabulary Constraints with Pixel-level Fallback [9.753745943931207]
  代名詞のトークン化には、計算効率と語彙カバレッジのバランスが必要である。 画素として描画されたテキストから入力埋め込みを生成する語彙自由エンコーダを提案する。
  論文  参考訳（メタデータ） (2025-04-02T20:50:31Z)
• Improving Translation Robustness with Visual Cues and Error Correction [58.97421756225425]
  ノイズの多いテキストに対する翻訳の堅牢性を改善するビジュアルコンテキストのアイデアを紹介します。 また,誤り訂正を補助タスクとして扱うことで,新しい誤り訂正訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:31:34Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。