論文の概要: TabuLM: Morphology-Aware Tabular Pre-training for Low-Resource Languages
- arxiv url: http://arxiv.org/abs/2608.26923v1
- Date: Thu, 27 Aug 2026 10:21:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.355057
- Title: TabuLM: Morphology-Aware Tabular Pre-training for Low-Resource Languages
- Title（参考訳）: TabuLM: 低リソース言語のための形態認識型タブラル事前学習
- Abstract要約: キンヤルワンダ(Kinyarwanda)は、ルワンダで1200万人以上の人々が話している、形態学的に豊かなバントゥー語族である。
オープンデータポータルから172のルワンダ政府のテーブル(35,000セル)を事前トレーニングしました。
本研究では,Kinyarwanda テーブル質問応答ベンチマークである TabQA-kin を紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present TabuLM, the first language model pre-trained on Kinyarwanda tabular data. Kinyarwanda is a morphologically rich Bantu language spoken by over 12 million people in Rwanda, yet lacks any dedicated tabular representation learning resource. TabuLM extends KinyaBERT-large, a two-tier morphological transformer, with additive row, column, and cell-type embeddings and a learned table-structure attention bias that sharpens same-row and same-column attention. Pre-training uses two new objectives: Masked Cell Recovery (MCR), which masks entire cells and forces reconstruction from row and column context, and Column Type Prediction (CTP), which predicts column semantic types from observed cell values. We pre-train on 172 Rwandan government tables (~35,000 cells) from NISR, RAB, REB, and MoH open-data portals, and introduce TabQA-kin, the first native Kinyarwanda table question-answering benchmark comprising 526 QA pairs across 31 tables and four question types. TabuLM achieves 62.0% exact match on TabQA-kin, outperforming KinyaBERT-large by 5.7 EM points and all multilingual baselines (mBERT 49.3%, XLM-R 50.0%) by 11.7-12.7 points. Analysis shows that structural table embeddings are most decisive for comparison and lookup questions, while morphological awareness provides complementary gains. Our code, data, and pre-trained checkpoint are publicly available.
- Abstract（参考訳）: 本研究では,Kinyarwanda 表データを用いた最初の言語モデル TabuLM を提案する。
キンヤルワンダはルワンダで1200万人以上の人々が話していた形態学的に豊かなバントゥー語であるが、専用の表象表現学習資源がない。
TabuLMはKinyaBERT-largeを拡張している。これは2層のモルフォロジートランスフォーマーで、加算行、列、セルタイプの埋め込みと、同じスローと同じカラムの注意を鋭くする学習されたテーブル構造アテンションバイアスを備える。
Masked Cell Recovery (MCR)は、細胞全体をマスクし、行と列のコンテキストから再構成を強制する。
我々は、NISR、RAB、REB、MoHのオープンソースポータルから172のルワンダ政府のテーブル(約35,000セル)を事前訓練し、31のテーブルに526のQAペアと4つの質問タイプからなる、最初のネイティブなKinyarwandaテーブル質問応答ベンチマークであるTabQA-kinを紹介した。
TabuLMはTabQA-kinで62.0%の正確なマッチを達成し、KinyaBERT-largeを5.7 EMポイント、全多言語ベースライン(mBERT 49.3%、XLM-R 50.0%)を11.7-12.7ポイント上回る。
解析によると、構造表の埋め込みは比較とルックアップの質問において最も決定的であり、形態学的認識は相補的な利益をもたらす。
私たちのコード、データ、事前訓練されたチェックポイントは公開されています。
関連論文リスト
- PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation [0.41562334038629606]
我々は、文書画像からテーブル抽出を評価するためのオープンな多言語ベンチマークであるPulseBench-Tabを紹介する。
ベンチマークは、9つの言語と4つのスクリプトにまたがる1,820の人間アノテーションテーブルで構成されている。
表は 2 から 1,183 の細胞で、48.1% は融合または分散した細胞を含む。
論文 参考訳（メタデータ） (2026-04-21T18:19:44Z) - INDOTABVQA: A Benchmark for Cross-Lingual Table Understanding in Bahasa Indonesia Documents [1.9881456274482427]
INDOTABVQAは、バハサ・インドネシアの実際の文書画像に対して、言語横断的な表視覚質問回答(VQA)を評価するためのベンチマークである。
データセットは、3つの視覚的なスタイルで1,593のドキュメントイメージと4つの言語で1,593の質問回答セットで構成されている。
我々のデータセット上でコンパクトな3BとLoRAの7Bモデルを微調整すると、精度は11.6%と17.8%向上する。
論文 参考訳（メタデータ） (2026-04-13T19:03:10Z) - Table-R1: Region-based Reinforcement Learning for Table Understanding [34.213738690633896]
本稿では,テーブル理解を高める新しい強化学習手法であるTable-R1を提案する。
提案手法では,Rerea-Enhanced Supervised Fine-Tuning (RE-SFT) を用いて,関連するテーブル領域を識別するモデルをガイドする。
実験の結果、Table-R1は複数のベースモデルで平均14.36ポイントの性能向上を達成した。
論文 参考訳（メタデータ） (2025-05-18T13:40:18Z) - Table Question Answering for Low-resourced Indic Languages [71.57359949962678]
TableQAは構造化された情報のテーブル上で質問に答え、個々のセルやテーブルを出力として返すタスクである。
予算が限られている低リソース言語を対象とした,完全自動大規模テーブルQAデータ生成プロセスを提案する。
表QAデータセットやモデルを持たない2つのIndic言語であるBengaliとHindiにデータ生成手法を組み込む。
論文 参考訳（メタデータ） (2024-10-04T16:26:12Z) - KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。
すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。
我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
論文 参考訳（メタデータ） (2024-05-13T18:26:32Z) - TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。
1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
論文 参考訳（メタデータ） (2023-12-14T15:37:04Z) - Localize, Retrieve and Fuse: A Generalized Framework for Free-Form
Question Answering over Tables [46.039687237878105]
TableQAは、提供されたテーブルに座った質問に対する回答を生成することを目的としている。
テーブルからグラフへの変換,セルローカライズ,外部知識検索,テーブルとテキストの融合を提案する。
実験は、忠実で一貫性のある文を生成するためのTAG-QAの優れた能力を示す。
論文 参考訳（メタデータ） (2023-09-20T03:52:34Z) - OmniTab: Pretraining with Natural and Synthetic Data for Few-shot
Table-based Question Answering [106.73213656603453]
最小限のアノテーションによるテーブルベースのQAモデルを構築した。
本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
論文 参考訳（メタデータ） (2022-07-08T01:23:45Z) - TGRNet: A Table Graph Reconstruction Network for Table Structure
Recognition [76.06530816349763]
本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。
具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
論文 参考訳（メタデータ） (2021-06-20T01:57:05Z) - TABBIE: Pretrained Representations of Tabular Data [22.444607481407633]
表データのみから学習する単純な事前学習目標を考案する。
競合するアプローチとは異なり、我々のモデル(TABBIE)は全てのテーブルサブストラクチャの埋め込みを提供する。
学習したセル,列,行の表現を定性的に分析した結果,複雑なテーブルの意味や数値的傾向が理解できた。
論文 参考訳（メタデータ） (2021-05-06T11:15:16Z) - TCN: Table Convolutional Network for Web Table Interpretation [52.32515851633981]
テーブル内情報とテーブル間情報の両方を考慮した新しいテーブル表現学習手法を提案する。
カラムタイプ予測ではf1の4.8%、カラム対関係予測ではf1の4.1%で競合ベースラインを上回ることができる。
論文 参考訳（メタデータ） (2021-02-17T02:18:10Z) - TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data [113.29476656550342]
本研究では,NL文と表の表現を共同で学習する事前学習型LMであるTaBERTを提案する。
TaBERTは、600万のテーブルとその英語コンテキストからなる大規模なコーパスで訓練されている。
モデルの実装はhttp://fburl.com/TaBERT.comで公開される。
論文 参考訳（メタデータ） (2020-05-17T17:26:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。