論文の概要: Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

• arxiv url: http://arxiv.org/abs/2608.15510v1
• Date: Sun, 16 Aug 2026 03:33:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.324838
• Title: Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation
• Title（参考訳）: 今誰がリードするのか? チャート・ツー・コード生成のためのToken-Level Modality Arbitration
• Abstract要約: 混合するよりむしろ2つの能力を分離するMOCAを提案する。 MoCAはCross-modal Arbitration Block (CAB)上に構築されており、視覚分岐とコード分岐を2つの異なる経路として維持している。 3つのベンチマークで、MoCAは汎用ドメインモデルやチャート特化モデルと競合するパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 8.424227562016206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chart-to-code generation requires a model to read the fine-grained visual details of a chart and write executable code that reproduces it. Existing chart-to-code methods either train visual and coding abilities separately, or fine-tune on chart-to-code data with the two abilities entangled. Neither strategy accounts for the distinct nature of the two abilities or the interference that arises when they are optimized together. We propose MoCA (Mixture of Cross-modal Arbitration), which separates the two abilities rather than blending them. MoCA is built on Cross-modal Arbitration Block (CAB), which maintains a visual branch and a code branch as two distinct pathways, and a lightweight arbiter that arbitrates their relative contributions at every layer and generated token. We train MoCA in two stages: a supervised warm-up on self-distilled reasoning trajectories that decomposes visual understanding into explicit steps, followed by reinforcement learning with rewards on both the reasoning process and the final code. Analysis shows that the arbiter learns structured rather than arbitrary allocations, with expert contributions varying systematically across tokens, layers, and instances. Across three benchmarks, MoCA delivers competitive performance against general-domain and chart-specialized models. Ablation results show that the gains cannot be attributed to a larger model size alone, but instead arise from the joint contributions of complementary visual and code branch initialization and input-conditioned arbitration through CAB.
• Abstract（参考訳）: Chart-to-code生成には、チャートの詳細な視覚的詳細を読み、それを再現する実行可能なコードを書くモデルが必要である。 既存のチャート・トゥ・コード手法は、視覚能力とコーディング能力を別々に訓練するか、2つの能力が絡み合ったチャート・トゥ・コードデータに微調整を施す。 どちらの戦略も、2つの能力の異なる性質や、それらが一緒に最適化されたときに生じる干渉を説明できない。 そこで我々は,MoCA(Mixture of Cross-modal Arbitration)を提案する。 MoCAはCross-modal Arbitration Block (CAB)上に構築されており、視覚分岐とコードブランチを2つの異なる経路として維持し、各レイヤで相対的なコントリビューションを調停し、トークンを生成する軽量なアービタである。 視覚的理解を明示的なステップに分解する自己蒸留推論トラジェクトリの教師付きウォームアップと、推論プロセスと最終コードの両方に報酬を与える強化学習の2段階でMoCAを訓練する。 分析によると、アービタは任意のアロケーションではなく構造化され、トークン、レイヤ、インスタンス間で、システマティックに専門家のコントリビューションが変化する。 3つのベンチマークで、MoCAは汎用ドメインモデルやチャート特化モデルと競合するパフォーマンスを提供する。 アブレーションの結果、利得はより大きなモデルサイズのみに起因するものではなく、補完的な視覚とコード分岐の初期化とCABによる入力条件の仲裁による共同貢献によるものであることが示されている。

関連論文リスト

• Beyond Flat Netlist: Hierarchical Graph Representation Learning for Scalable Analysis of Sequential Circuits [15.582237623722392]
  回路を2レベルに抽象化する新しい階層型フレームワークであるDeepSeq3を紹介する。 デュアルグラフニューラルネットワーク(GNN)アーキテクチャは、両方のレベルで表現を学ぶ。 状態中心の事前学習スキームはFF状態間の到達性を予測し、時間的挙動の深い理解をモデルに与える。
  論文  参考訳（メタデータ） (2026-08-28T10:56:04Z)
• REChart: Reasoning-Efficient Chart Editing with Large Reasoning Models [6.014442477518621]
  中間的推論ステップに対するプロセスレベルの監視を提供する2段階のトレーニングフレームワークであるREChartを紹介します。 まず,大規模な画像インストラクションコードプールから200kの高品質推論軌道を合成し,教師付き微調整を行う。 第二に、コード正当性、視覚的忠実性、構造的整合性を評価し、各ロールアウトにランダムな思考予算を割り当てる即効性報酬という2つの相補的な報酬を用いて、強化学習によるモデルを最適化する。
  論文  参考訳（メタデータ） (2026-08-18T06:26:45Z)
• Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
  視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。 本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。 画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
  論文  参考訳（メタデータ） (2026-06-25T17:59:57Z)
• CharTide: Data-Centric Chart-to-Code Generation via Tri-Perspective Tuning and Inquiry-Driven Evolution [23.66187133157774]
  CharTideは、チャート・ツー・コード生成のための新しいデータ中心のフレームワークである。 トレーニングを視覚的知覚、純粋テキストのコードロジック、モダリティの融合ストリームに明確に分離する。 ChartMimic、Plot2Code、ChartXの実験によると、ChartTide-7B/8Bはオープンソースベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-04-24T03:39:51Z)
• Chart2Code-MoLA: Efficient Multi-Modal Code Generation via Adaptive Expert Routing [20.521717930460692]
  C2C-MoLAは、Low-Rank Adaptation (LoRA)とMixture of Experts (MoE)を相乗化するフレームワークである LoRAは、リソースを意識したチューニングのためのパラメータ効率の更新を可能にする。 Chart2Code-160kの実験では、提案されたモデルにより生成精度が最大17%向上した。
  論文  参考訳（メタデータ） (2025-11-28T16:23:04Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• ChartMaster: Advancing Chart-to-Code Generation with Real-World Charts and Chart Similarity Reinforcement Learning [64.4193334712998]
  チャートからコードへの生成タスクでは、チャートイメージを実行可能なコードに変換するMLLMが必要である。 このタスクは、データ多様性の制限と、生成されたチャートと元のチャートの間の視覚的一貫性を維持することの難しさという、2つの大きな課題に直面する。 本稿では,arXiv論文から抽出した実世界の人間設計チャートをプロンプトとして活用するReChartPromptを提案する。 また,GRPOに基づく強化学習アルゴリズムであるChartSimRLを提案する。
  論文  参考訳（メタデータ） (2025-08-25T02:32:56Z)
• Boosting Chart-to-Code Generation in MLLM via Dual Preference-Guided Refinement [16.22363384653305]
  MLLM(Multimodal Large Language Models)は、きめ細かい視覚解析、正確なコード合成、堅牢なクロスモーダル推論を行う。 本稿では、フィードバック駆動の2つのモダリティ報酬機構と反復的な嗜好学習を組み合わせた2つの嗜好誘導改善フレームワークを提案する。 本フレームワークは汎用MLLMの性能を大幅に向上させ,高品質なプロットコードを生成する。
  論文  参考訳（メタデータ） (2025-04-03T07:51:20Z)
• Scalable Image Tokenization with Index Backpropagation Quantization [74.15447383432262]
  インデックスバックプロパゲーション量子化(IBQ)は、すべてのコードブック埋め込みとビジュアルエンコーダの共同最適化のための新しいVQ手法である。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブックを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:10Z)
• M3C: A Framework towards Convergent, Flexible, and Unsupervised Learning of Mixture Graph Matching and Clustering [57.947071423091415]
  本稿では,理論収束を保証する学習自由度アルゴリズムであるM3Cを提案する。 我々は、新しいエッジワイド親和性学習と擬似ラベル選択を組み込んだ教師なしモデルUM3Cを開発した。 提案手法は,最先端のグラフマッチングと混合グラフマッチングとクラスタリングの手法を精度と効率の両面で優れている。
  論文  参考訳（メタデータ） (2023-10-27T19:40:34Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。