論文の概要: Generalizing Numerical Reasoning in Table Data through Operation Sketches and Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2604.21495v1
• Date: Thu, 23 Apr 2026 09:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.427747
• Title: Generalizing Numerical Reasoning in Table Data through Operation Sketches and Self-Supervised Learning
• Title（参考訳）: 操作スケッチと自己監督学習によるテーブルデータの数値推論の一般化
• Authors: Hanjun Cho, Gahyun Yoo, Hanseong Kim, Jay-Yoon Lee,
• Abstract要約: エキスパートドメインテーブルに対する数値推論はドメイン内精度が高いが、ドメインシフトに対する堅牢性には制限がある。 3つのコンポーネントから構成される連続的な事前学習フレームワークであるTaNOSを紹介した。これは、語彙記憶を減らすヘッダ匿名化、最小限の構造的手がかりを提供するオペレーションスケッチ、プログラムファーストでテーブルから正当性保証されたプログラム-問い合わせペアを構築する自己教師型事前学習である。 8B命令チューニングモデルを適用したTaNOSは、10%の列車データでFinQA上での80.13%の実行精度を達成し、SFTベースライン(73.97%)をフルトレインデータ、GPT-5などのプロプライエタリモデルで上回っている。
• 参考スコア（独自算出の注目度）: 10.73349140820911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerical reasoning over expert-domain tables often exhibits high in-domain accuracy but limited robustness to domain shift. Models trained with supervised fine-tuning (SFT) on specific datasets tend to rely on header-operation shortcuts rather than structural reasoning. We introduce TaNOS, a continual pre-training framework comprising three components: (i) header anonymization to reduce lexical memorization, (ii) operation sketches that provide minimal structural cues, and (iii) self-supervised pretraining that constructs correctness-guaranteed program-question pairs from given tables in a program-first manner. By decoupling domain semantics and numerical operation structure, TaNOS improves the transferability of numerical reasoning. Applied to an 8B instruction-tuned model, TaNOS achieves 80.13% execution accuracy on FinQA with only 10% train data, outperforming SFT baseline (73.97%) with full train data and proprietary models such as GPT-5, Gemini-2.5-Pro. Furthermore, in the domain-shift experiments, TaNOS displays nearly-negligible cross-domain gap (<2pp) when standard SFT shows over 10pp gap. These results suggest that structural guidance with operation sketches, header-agnostic representations, and correctness-guaranteed self-supervision can improve the robustness of numerical reasoning across diverse expert-domain tables.
• Abstract（参考訳）: エキスパートドメインテーブルに対する数値推論はドメイン内精度が高いが、ドメインシフトに対する堅牢性には制限がある。 特定のデータセット上で教師付き微調整(SFT)で訓練されたモデルは、構造的推論よりもヘッダ操作のショートカットに依存する傾向がある。 3つのコンポーネントからなる連続的な事前学習フレームワークであるTaNOSを紹介します。 一 語彙記憶を減らすためのヘッダ匿名化 (二)最小限の構造的手がかりを提供する操作スケッチ及び 三 プログラム第一の方法により、与えられた表から正当性保証されたプログラム問合せペアを構築する自己指導型事前訓練 ドメイン意味論と数値演算構造を分離することにより、TaNOSは数値推論の伝達性を向上させる。 8B命令チューニングモデルに適用されたTaNOSは、10%の列車データでFinQA上での80.13%の実行精度を達成し、SFTベースライン(73.97%)と全列車データ、GPT-5、Gemini-2.5-Proなどのプロプライエタリなモデルより優れている。 さらに、ドメインシフト実験では、標準SFTが10pp以上のギャップを示す場合、TaNOSはほぼ無視可能なクロスドメインギャップ(2pp)を示す。 これらの結果から, 演算スケッチ, ヘッダ非依存表現, 正当性保証型自己監督による構造指導は, 多様な専門家ドメインテーブル間の数値推論の堅牢性を向上させることが示唆された。

関連論文リスト

• Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN [3.059960033014892]
  Tabular Prior-data Fitted Network (TabPFN) とその微調整版の評価を行った。 以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成できるが,公平性の改善は適度で矛盾することがわかった。 以上の結果から,TabPFNの因果前訓練はアルゴリズム的公平性には不十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-25T17:17:12Z)
• Enhancing Large Language Model Reasoning via Selective Critical Token Fine-Tuning [18.934789236342244]
  大規模言語モデル (LLM) は主に、数学的推論のようなドメイン固有のタスクに事前訓練されたモデルを適用するために、教師付き微調整 (SFT) に依存している。 標準SFTは全てのトークンを一様に罰し、臨界トークンの小さなサブセットだけが推論の正しさを決定することを無視する。 本稿では, 機能的に欠かせないトークンのみを, 対向的摂動によって更新する, 単純かつ効果的なアプローチであるCritical Token Fine-tuning(CFT)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:25:36Z)
• Reasoning-Table: Exploring Reinforcement Learning for Table Reasoning [24.624844234355734]
  Reasoning-Tableは、テーブル推論への強化学習(RL)の最初の応用であり、最先端の性能を実現している。 Reasoning-Tableは大きな言語モデルを推論する堅牢なテーブルとして登場し、Claude-3.7-Sonnetのようなより大きなプロプライエタリなモデルを4.0%上回っている。
  論文  参考訳（メタデータ） (2025-06-02T14:18:09Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Reasoning with Reinforced Functional Token Tuning [70.96651128307985]
  本稿では,大規模言語モデル(LLM)に自己学習能力を持たせるためにRFTT(Reinforced Functional Token Tuning)を提案する。 RFTTは、学習可能な関数トークンの豊富なセットをモデル語彙に直接埋め込んで、多様な人間のような推論行動によるチェーン・オブ・思想の構築を可能にする。
  論文  参考訳（メタデータ） (2025-02-19T02:59:42Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• MediTab: Scaling Medical Tabular Data Predictors via Data Consolidation, Enrichment, and Refinement [44.693325083735424]
  患者の健康リスク予測などの医療応用において,タブラルデータ予測が採用されている。 以前の予測子は、手動でキュレートされた小さなデータセットでトレーニングされることが多い。
  論文  参考訳（メタデータ） (2023-05-20T03:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。