論文の概要: MoMaTune: Model, Match, Then Tune Language Models for Numerical Records

• arxiv url: http://arxiv.org/abs/2610.15235v1
• Date: Sun, 11 Oct 2026 00:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.178435
• Title: MoMaTune: Model, Match, Then Tune Language Models for Numerical Records
• Title（参考訳）: MoMaTune: 数値記録のためのモデル、マッチ、そしてチューン言語モデル
• Abstract要約: MoMaTuneはデコーダ言語モデルの2段階後のトレーニング戦略である。 8つの公開データセットから169,285レコードの評価を行った。
• 参考スコア（独自算出の注目度）: 15.34799086197925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite remarkable progress in language understanding and generation, decoder language models continue to exhibit striking failures on numerical data. Numerical examples are typically serialized as text by concatenating feature names with their values (e.g., fat:3.4), while conventional task adaptation applies loss only to the downstream prediction target. This leaves two structures weakly supervised: within-value sensitivity, where digit position determines numerical magnitude, because token cross-entropy contains no explicit numerical metric; and across-field structure, where measurements in the same record are statistically dependent, because target-only tuning provides no direct loss on the measurements or their dependencies. We introduce MoMaTune (Model, Match, then Tune), a two-stage post-training strategy organized around these supervision gaps. Stage 1 applies Model, ordinary next-token prediction densely over label-free serialized records, and optionally adds Match, a same-record consistency objective that aligns representations of different partial views of the same example. Stage 2 applies Tune, supervised fine-tuning for downstream target prediction. We evaluate MoMaTune on 169,285 records from eight public datasets, with 339 of 340 input fields numerical. At 1.5B parameters, Model raises the eight-dataset masked-value imputation aggregate from 0.106 to 0.401, while the three-dataset correct-context gain rises from 0.058 to 0.167. On diagnostics, Model also increases sensitivity to numerically consequential digit changes, while Match improves robustness to informative partial views. Adding Tune yields higher target-supervised embedding aggregates for each tested Stage-1 parent, and the two-stage recipes obtain higher aggregate scores than Tune alone. The same pattern is observed at 4B, 9.6B, and 27B parameters when model embeddings are used for downstream prediction.
• Abstract（参考訳）: 言語理解と生成の著しい進歩にもかかわらず、デコーダ言語モデルは数値データに顕著な失敗を示し続けている。 数値的な例は典型的にはテキストとしてシリアライズされ、特徴名とその値(例:fat:3.4)を関連付ける。 これは2つの構造が弱めに監督されている: 桁位置が数値を決定づける内値感度、トークンクロスエントロピーが明示的な数値メートル法を含まないため、および、同じレコードにおける測定値が統計的に依存する分野間構造、ターゲットのみのチューニングは測定値やそれらの依存関係に直接損失を与えないためである。 MoMaTune (Model, Match, then Tune)は,これらの監視ギャップを中心に組織された2段階のポストトレーニング戦略である。 ステージ1では、ラベルなしのシリアライズされたレコードに対して、通常の次世代の予測であるモデルを適用し、オプションでMatchを追加します。 ステージ2では、下流ターゲット予測のための教師付き微調整であるTuneを適用している。 8つの公開データセットから169,285レコードのMoMaTuneを339の入力フィールドで評価した。 1.5Bパラメータでは、モデルが8データセットのマスク値計算集約を0.106から0.401に上げ、3データセットの正しいコンテキストゲインを0.058から0.167に引き上げる。 診断において、モデルはまた数値的に連続した数字の変化に対する感度を高める一方、Matchは情報的部分的なビューに対する堅牢性を改善する。 Tuneを添加すると、テスト済みのStage-1親に対して高い目標監督型埋め込みアグリゲーションが得られ、2段階のレシピはTune単独よりも高いアグリゲーションスコアが得られる。 モデル埋め込みが下流予測に使用される場合、同じパターンが4B、9.6B、27Bパラメータで観測される。

関連論文リスト

• Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
  セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。 14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。 3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
  論文  参考訳（メタデータ） (2026-10-13T01:52:19Z)
• SAM3-LoRA: Parameter-Efficient Adaptation of a Concept-Promptable Foundation Model for Multi-Class Structural Defect Segmentation [0.0]
  本研究は,多層構造欠陥セグメンテーションにおけるローランド適応(LoRA)をSAM3に適用する。 本稿では,COCOスタイルのクラスラベルインスタンスセグメンテーションから直接,概念実証可能なモデルをトレーニングする監督手順について述べる。
  論文  参考訳（メタデータ） (2026-08-31T23:19:59Z)
• Diff Mining: Logit Differences Reveal Finetuning Objectives [8.009258958150836]
  私たちはDiff Miningを紹介します。Diff Miningは、そのロジットをベースモデルと比較することで、微調整されたモデルが何を学んだかを特定するためのフレームワークです。 ディフ・マイニング(Diff Mining)は、精巧なモデルで増幅された透明なトークンを表面化し、トレーニングの指紋として機能する。 我々のフレームワークは、微調整対象を検出する監査ツールの開発において有望であることを示す。
  論文  参考訳（メタデータ） (2026-08-26T23:33:18Z)
• Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
  先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。 人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
  論文  参考訳（メタデータ） (2026-08-26T14:41:24Z)
• TokEval: A Tokenizer Evaluation Suite [18.651247109977362]
  TokEvalはトークン化評価指標のフレームワークである。 制御言語モデル事前学習実験を行う。 結果のモデルをビット単位のバイト単位で評価する。
  論文  参考訳（メタデータ） (2026-08-18T17:52:52Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Characterizing and Measuring Linguistic Dataset Drift [65.28821163863665]
  本稿では,語彙,構造,意味的ドリフトという3次元の言語データセットドリフトを提案する。 これらの次元は、内容語頻度の発散、統語的発散、および単語周波数で捉えない意味の変化に対応している。 ドリフトメトリクスは、ドメイン外モデルの精度を予測する上で、以前のメトリクスよりも効果的であることが分かりました。
  論文  参考訳（メタデータ） (2023-05-26T17:50:51Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。