論文の概要: Seeing the Unseen: Visual Similarity for Pixel Language Model Adaptation
- arxiv url: http://arxiv.org/abs/2608.30541v1
- Date: Mon, 31 Aug 2026 10:11:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.342828
- Title: Seeing the Unseen: Visual Similarity for Pixel Language Model Adaptation
- Title（参考訳）: 見えないものを見る:Pixel言語モデル適応の視覚的類似性
- Abstract要約: ピクセルベースの言語モデル(LM)は、テキストの描画画像を処理して従来のトークン化ツールを置き換える。
我々は、画素ベースのLMの継続事前学習が、データスケール、初期スクリプトの露出、他のブラフミックスクリプトで記述された言語からの言語間移動の影響について分析する。
- 参考スコア（独自算出の注目度）: 7.634308270954448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pixel-based language models (LMs) replace traditional tokenizers by processing rendered images of text, making cross-lingual transfer heavily dependent on the visual and structural properties of writing systems. However, the dynamics of adapting these models to low-resource languages with complex morphology and written in unique scripts are not yet explored. Using Tibetan as a case study, we analyze how continued pre-training of pixel-based LMs is influenced by data scale, initial script exposure, and cross-lingual transfer from languages written in other Brahmic scripts. We introduce four rendering-level metrics to quantify visual script similarity. We evaluate downstream performance across three tasks. Our results show that higher orthographic proximity enhances semantic transfer, even under severe data constraints. Additionally, we find a performance asymmetry based on the pre-training starting point: while multilingual pre-training PIXEL-M4 has stronger initial performance, its capacity for subsequent adaptation seems to be constrained, whereas adapting a monolingual model PIXEL with mixed scripts yields more gains on sentence-level tasks. Our metrics and case study offer empirical observations that could help inform data selection and script adaptation choices when working with pixel-based models in similar low-resource settings.
- Abstract（参考訳）: ピクセルベースの言語モデル(LM)は、テキストの描画されたイメージを処理することで従来のトークン処理装置を置き換え、言語間転送は書込みシステムの視覚的および構造的特性に大きく依存する。
しかし、これらのモデルを複雑な形態を持つ低リソース言語に適応させ、独自のスクリプトで書くというダイナミクスはまだ検討されていない。
チベット語をケーススタディとして、画素ベースのLMの継続事前学習が、データスケール、初期スクリプトの露出、他のブラフミックスクリプトで記述された言語からの言語間移動の影響について分析する。
ビジュアルスクリプトの類似性を定量化するために,4つのレンダリングレベルメトリクスを導入する。
3つのタスクで下流のパフォーマンスを評価する。
以上の結果から,厳密なデータ制約下であっても,高次補間により意味伝達が促進されることが示唆された。
さらに、事前学習開始点に基づく性能非対称性も見いだされる: 複数言語事前学習のPIXEL-M4は、より強い初期性能を持つが、その後の適応能力は制限されているように思われる一方、単言語モデルPIXELを混合スクリプトで適用すると、文レベルのタスクでより多くの利得が得られる。
我々のメトリクスとケーススタディは、同様の低リソース環境でピクセルベースのモデルを扱う際に、データ選択とスクリプト適応の選択を知らせる経験的な観察を提供する。
関連論文リスト
- MIXAR: Scaling Autoregressive Pixel-based Language Models to Multiple Languages and Scripts [66.21710415920332]
MIXARは、8つの異なる言語で訓練された最初の生成ピクセルベースの言語モデルである。
私たちは、MIXARがトレーニング中に見たことのない言語に対して堅牢であることを示します。
論文 参考訳（メタデータ） (2026-04-13T14:53:19Z) - Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset [41.02122939888977]
本研究では,ブラジルのポルトガル語ICを対象としたトランスフォーマーを用いた視覚・言語モデルのクロスネイティブ評価を提案する。
ブラジル原住民のポルトガル語話者が手動で作成したキャプションで構成されたFlickr30Kのバージョンを使用し、それを英語からポルトガル語に自動翻訳されたキャプションと比較する。
以上の結果から,Swin-DistilBERTimbauは他のモデルよりも優れており,データセット間の強い一般化が示されている。
論文 参考訳（メタデータ） (2026-01-30T23:12:03Z) - Enhancing Robustness of Autoregressive Language Models against Orthographic Attacks via Pixel-based Approach [51.95266411355865]
自己回帰言語モデルは、正書法攻撃に弱い。
この脆弱性は、サブワードトークン化器とその埋め込みに固有の語彙外問題に起因している。
本稿では,単語を個々の画像としてレンダリングすることで,テキストベースの埋め込みをピクセルベースの表現に置き換える,画素ベースの生成言語モデルを提案する。
論文 参考訳（メタデータ） (2025-08-28T20:48:38Z) - A Case Against Implicit Standards: Homophone Normalization in Machine Translation for Languages that use the Ge'ez Script [3.5149312379702127]
音声正規化(Homophone normalization)は、Amharic Natural Language Processingの文献に適用される事前処理のステップである。
トレーニングデータの代わりにモデル予測に正規化を適用した推論後介入を提案する。
我々の研究は、技術に精通した言語変化に関する広範な議論に寄与し、より多くの言語対応の介入を求めている。
論文 参考訳（メタデータ） (2025-07-20T22:35:08Z) - ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。
スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-12T13:28:46Z) - Pixology: Probing the Linguistic and Visual Capabilities of Pixel-based Language Models [7.356870418870544]
Pixelベースの言語モデルは、サブワードベースの言語モデリングに代わる魅力的な選択肢として登場した。
PIXELは、レンダリングされたテキストで事前トレーニングされたビジョントランスフォーマーである。
論文 参考訳（メタデータ） (2024-10-15T19:21:23Z) - To token or not to token: A Comparative Study of Text Representations
for Cross-Lingual Transfer [23.777874316083984]
ゼロショットと少数ショットの両方の評価を重み付けして表現できるスコアリング言語クオシアン計量を提案する。
解析の結果,言語が密接に関連し,視覚的に類似したスクリプトを共有する場合,画像ベースモデルは言語間移動に優れることがわかった。
単語関係が重要な役割を果たす依存性解析タスクでは、キャラクタレベルに焦点を当てたモデルが他よりも優れています。
論文 参考訳（メタデータ） (2023-10-12T06:59:10Z) - ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。
Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。
本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
論文 参考訳（メタデータ） (2023-08-16T15:19:52Z) - CLIP-ViP: Adapting Pre-trained Image-Text Model to Video-Language
Representation Alignment [146.3128011522151]
本稿では,CLIP,すなわちCLIP-ViPに基づいて,ビデオプロキシ機構を備えたOmniクロスモーダル学習手法を提案する。
提案手法は,ビデオテキスト検索におけるCLIPの性能を大きなマージンで向上させる。
MSR-VTT, DiDeMo, LSMDC, ActivityNet など,様々なデータセット上でのSOTA結果も得られた。
論文 参考訳（メタデータ） (2022-09-14T05:47:02Z) - Language Modelling with Pixels [29.976453396194053]
本稿では,PixelベースのLanguageであるPIXELを紹介する。
PIXELは、テキストを画像としてレンダリングする事前訓練された言語モデルであり、言語間で表現を転送することができる。
様々な非ラテン文字を含む類型的多様言語における構文的・意味的タスクについて検討した。
論文 参考訳（メタデータ） (2022-07-14T15:20:36Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。