論文の概要: EXaMCaP: Subset Selection with Entropy Gain Maximization for Probing Capability Gains of Large Chart Understanding Training Sets
- arxiv url: http://arxiv.org/abs/2602.04365v1
- Date: Wed, 04 Feb 2026 09:41:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.460285
- Title: EXaMCaP: Subset Selection with Entropy Gain Maximization for Probing Capability Gains of Large Chart Understanding Training Sets
- Title（参考訳）: EXaMCaP: Entropy Gain Maximization を用いた大規模チャート理解学習セットの能力向上のためのサブセット選択
- Authors: Jiapeng Liu, Liang Li, Bing Li, Peng Fu, Xiyan Gao, Chengyang Fang, Xiaoshuai Hao, Can Ma,
- Abstract要約: 性能評価のためのフルセットの微調整MLLMは、かなりの時間的コストを発生させる。
エントロピーゲインを用いてサブセットを選択するEXaMCaPを提案する。
実験の結果、EXaMCaPはChartUトレーニングセットの能力向上を実証する上で、ベースラインよりも優れていた。
- 参考スコア（独自算出の注目度）: 30.051379829612447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works focus on synthesizing Chart Understanding (ChartU) training sets to inject advanced chart knowledge into Multimodal Large Language Models (MLLMs), where the sufficiency of the knowledge is typically verified by quantifying capability gains via the fine-tune-then-evaluate paradigm. However, full-set fine-tuning MLLMs to assess such gains incurs significant time costs, hindering the iterative refinement cycles of the ChartU dataset. Reviewing the ChartU dataset synthesis and data selection domains, we find that subsets can potentially probe the MLLMs' capability gains from full-set fine-tuning. Given that data diversity is vital for boosting MLLMs' performance and entropy reflects this feature, we propose EXaMCaP, which uses entropy gain maximization to select a subset. To obtain a high-diversity subset, EXaMCaP chooses the maximum-entropy subset from the large ChartU dataset. As enumerating all possible subsets is impractical, EXaMCaP iteratively selects samples to maximize the gain in set entropy relative to the current set, approximating the maximum-entropy subset of the full dataset. Experiments show that EXaMCaP outperforms baselines in probing the capability gains of the ChartU training set, along with its strong effectiveness across diverse subset sizes and compatibility with various MLLM architectures.
- Abstract（参考訳）: 最近の研究は、チャート理解(ChartU)トレーニングセットの合成に重点を置いて、高度なチャート知識をマルチモーダル大言語モデル(MLLM)に注入する。
しかし、そのような利得を評価するためのフルセットの微調整MLLMは、ChartUデータセットの反復的な改善サイクルを妨げ、かなりの時間的コストを発生させる。
ChartUデータセット合成とデータ選択ドメインをレビューすると、サブセットがフルセットの微調整からMLLMの能力向上を探索できる可能性があることが分かる。
MLLMの性能向上とエントロピーを反映するデータ多様性が不可欠であることを踏まえ,エントロピーゲインを最大化してサブセットを選択するEXaMCaPを提案する。
高多様性サブセットを得るために、EXaMCaPは大きなChartUデータセットから最大エントロピーサブセットを選択する。
全ての可能な部分集合を列挙することは実用的ではないため、EXaMCaP はサンプルを反復的に選択し、現在のデータセットに対する集合エントロピーのゲインを最大化し、全データセットの最大エントロピー部分集合を近似する。
実験の結果、EXaMCaPはChartUのトレーニングセットの能力向上と、さまざまなサブセットサイズにまたがる強力な有効性、さまざまなMLLMアーキテクチャとの互換性の保証において、ベースラインよりも優れていた。
関連論文リスト
- Learning Item Representations Directly from Multimodal Features for Effective Recommendation [51.49251689107541]
マルチモーダルレコメンデータシステムは、主にベイズパーソナライズされたランク付け(BPR)最適化を利用してアイテム表現を学習する。
本稿では,マルチモーダルな特徴からアイテム表現を直接学習し,推薦性能を向上する新しいモデル(LIRDRec)を提案する。
論文 参考訳（メタデータ） (2025-05-08T05:42:22Z) - Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。
本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
論文 参考訳（メタデータ） (2025-02-05T17:21:01Z) - Aligning Instruction Tuning with Pre-training [61.50161961371844]
そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。
8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2025-01-16T08:27:40Z) - On LLM-Enhanced Mixed-Type Data Imputation with High-Order Message Passing [29.144451092549048]
データ計算の欠如は、データセットの完全性を達成するために、生データセットの欠落した値をインプットすることを目的としている。
1)数値データと分類データしかサポートしていないか,2)不満足な性能を示す。
We propose UnIMP, a Unified IMPutation framework that leverageing LLM and high-order message passing to enhance the imputation of mixed-type data。
論文 参考訳（メタデータ） (2025-01-04T05:05:44Z) - Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。
まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。
次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
論文 参考訳（メタデータ） (2024-08-05T23:20:32Z) - Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。
データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。
3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
論文 参考訳（メタデータ） (2023-11-14T14:10:40Z) - Shared Space Transfer Learning for analyzing multi-site fMRI data [83.41324371491774]
マルチボクセルパターン解析(MVPA)は、タスクベース機能磁気共鳴画像(fMRI)データから予測モデルを学習する。
MVPAはよく設計された機能セットと十分なサンプルサイズで機能する。
ほとんどのfMRIデータセットはノイズが多く、高次元で、収集するのに高価で、サンプルサイズも小さい。
本稿では,新しい伝達学習手法として共有空間移動学習(SSTL)を提案する。
論文 参考訳（メタデータ） (2020-10-24T08:50:26Z) - Orthogonal Inductive Matrix Completion [25.03115399173275]
本稿では,正則な側情報項の和に基づいて,行列補完に対する解釈可能なアプローチを提案する。
提案手法は,確率的に収束するアルゴリズムにより最適化する。
我々は,OMICの性能を複数の合成および実データに対して解析する。
論文 参考訳（メタデータ） (2020-04-03T16:21:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。