論文の概要: Staged Continual Adaptation of Multimodal Foundation Models for Japanese Financial Documents

• arxiv url: http://arxiv.org/abs/2610.27904v1
• Date: Tue, 20 Oct 2026 09:19:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.739059
• Title: Staged Continual Adaptation of Multimodal Foundation Models for Japanese Financial Documents
• Title（参考訳）: 金融文書のマルチモーダル・ファンデーション・モデルの段階的適応
• Abstract要約: マルチモーダル基礎モデルの段階的後訓練は、視覚言語アライメント、推論蒸留、ドメインチューニングを連鎖させる。 数学のみの蒸留は、手続き的な数学のスキルが存続しても、以前に獲得した金融知識を蒸留する。 スキップフェーズアブレーションはドメイン知識に最適だが、数値推論の利得を許さない。 最高のチェックポイントはタスク依存であり、追加のステージではなく、チェックポイントの保持とスケジューリングに影響を及ぼす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Staged post-training of multimodal foundation models chains vision-language alignment, reasoning distillation, and domain tuning, yet how each phase trades capabilities against the others remains under-characterised. Tracking an 8.4B-parameter model from an un-fine-tuned baseline through three training phases on Japanese financial documents (evaluated on five text-input benchmarks), we find the phases interact non-additively: math-only distillation overwrites the financial knowledge acquired earlier even as procedural math skill survives, and the domain phase repairs more than it installs. A skip-phase ablation is best for domain knowledge but forfeits numerical-reasoning gains, so per-phase contributions are not decomposable and the best checkpoint is task-dependent, with implications for checkpoint retention and scheduling rather than added stages.
• Abstract（参考訳）: マルチモーダル基礎モデルの段階的な後トレーニングは、視覚言語アライメント、推論蒸留、ドメインチューニングをチェーンするが、各フェーズが他のフェーズとどのように交換するかは、まだ未定のままである。 日本語財務文書のトレーニング段階(テキストインプット・ベンチマーク5件で評価)から8.4Bパラメトリ・モデルを追跡すると, 算術のみの蒸留は, 手続き的な算術技術が存続しても, 獲得した財務知識を上書きし, ドメイン・フェーズをインストールする以上に修復する。 スキップフェーズのアブレーションはドメイン知識に最適であるが、数値推論の利得を許さないため、フェーズ毎のコントリビューションは分解不可能であり、最高のチェックポイントはタスク依存であり、チェックポイントの保持とスケジューリングは追加段階ではなく追加段階である。

関連論文リスト

• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Unrolled Flow Models for Reasoning [7.898040854536975]
  フローマッチングは、いくつかのステップで言語生成を可能にするが、追加の統合ステップが推論を改善するかどうかはまだ不明である。 2層変換器によってパラメータ化されたフローは,グラフの到達性を解くことができることを示す。 標準的なフロー言語モデルは、推論タスクの追加ステップの恩恵を受けられない可能性がある。
  論文  参考訳（メタデータ） (2026-10-07T09:45:54Z)
• Data-Centric Post-Training for Financial Reasoning: Mining, Distillation, and Verifiable Learning [0.3728263002609659]
  既存のQAペアには、明確な推論、十分なコンテキスト、あるいは確実に検証可能な回答が欠けていることが多い。 オープンソース推論トレースをマイニングすることで補完的なコーパスを構成するデータ中心パイプラインを提案する。 FINESSE-Benchを用いて適応言語モデルの評価を行い,その開始チェックポイントに対する集計性能と変化を報告する。
  論文  参考訳（メタデータ） (2026-09-09T12:46:33Z)
• Scaling Point-in-Time Language Models [0.0]
  ポイント・イン・タイムの言語モデルは、各カレンダーの日付まで利用可能なテキストにのみ訓練される。 この性能ギャップはスケールによって著しく狭められることを示す。 我々は、ポイント・イン・タイム言語モデリングを可能にするデータセット構築を含む完全なパイプラインをリリースする。
  論文  参考訳（メタデータ） (2026-04-24T17:00:53Z)
• FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios [58.34124792457706]
  製造業セクターは、単純な認識から自律的な実行に移行するために、MLLM(Multimodal Large Language Models)をますます採用している。 進捗は、データの不足と、既存のデータセットにおけるきめ細かいドメインセマンティクスの欠如によって妨げられている。 まず、実世界の2D画像と3Dポイントクラウドを組み合わせて、微粒なドメインセマンティクスを付加した高品質なデータセットを構築します。 次に, 3 つの製造課題,すなわち, 構造面検査, 組立検査, 組立検証の18の最先端MLLMを評価し, 大幅な性能差を明らかにした。
  論文  参考訳（メタデータ） (2026-04-08T12:23:27Z)
• Merging Continual Pretraining Models for Domain-Specialized LLMs: A Case Study in Finance [4.82433450402665]
  CPT(Continuous Pre-training)の融合は、コストがかかり不安定なマルチスキルトレーニングに代わる実用的な代替手段を提供する。 本稿では,知識の回復,相補性,創発性に着目した3段階評価を行い,3つの統合手法の評価を行う。 その結果、エキスパートをベースモデルにマージすることで、CPT中に失われた一般的な知識が回復し、専門家をマージすることでパフォーマンスが向上し、クロスドメインスキルが創発的になる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-11-04T10:28:57Z)
• FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
  ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。 FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
  論文  参考訳（メタデータ） (2025-02-26T05:19:16Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。