Fugu-MT 論文翻訳(概要): Learning What Matters: Probabilistic Task Selection via Mutual Information for Model Finetuning

論文の概要: Learning What Matters: Probabilistic Task Selection via Mutual Information for Model Finetuning

arxiv url: http://arxiv.org/abs/2507.12612v2
Date: Thu, 07 Aug 2025 04:25:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 21:11:55.601537
Title: Learning What Matters: Probabilistic Task Selection via Mutual Information for Model Finetuning
Title（参考訳）: 重要なことを学ぶ:モデルファインタニングのための相互情報による確率的タスク選択
Authors: Prateek Chanda, Saral Sureka, Parth Pratim Chatterjee, Krishnateja Killamsetty, Nikhil Shivakumar Nayak, Ganesh Ramakrishnan,
Abstract要約: 混合最適化のための原則的でスケーラブルなフレームワークであるTASKPGMを紹介する。 TASKPGMはマルコフランダム場(MRF)上のエネルギー関数を最小化して連続タスク比を選択する本手法は, 単純な制約下で閉形式解を導出し, タスク間の代表性と多様性を確実にバランスさせる。
参考スコア（独自算出の注目度）: 20.93518809718398
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The performance of finetuned large language models (LLMs) hinges critically on the composition of the training mixture. However, selecting an optimal blend of task datasets remains a largely manual, heuristic driven process, with practitioners often relying on uniform or size based sampling strategies. We introduce TASKPGM, a principled and scalable framework for mixture optimization that selects continuous task proportions by minimizing an energy function over a Markov Random Field (MRF). Task relationships are modeled using behavioral divergences such as Jensen Shannon Divergence and Pointwise Mutual Information computed from the predictive distributions of single task finetuned models. Our method yields a closed form solution under simplex constraints and provably balances representativeness and diversity among tasks. We provide theoretical guarantees, including weak submodularity for budgeted variants, and demonstrate consistent empirical improvements on Llama 2 and Mistral across evaluation suites such as MMLU and BIGBench. Beyond performance, TASKPGM offers interpretable insights into task influence and mixture composition, making it a powerful tool for efficient and robust LLM finetuning.
Abstract（参考訳）: 微調整された大言語モデル(LLM)の性能は、トレーニング混合物の組成に決定的に影響を及ぼす。しかしながら、最適なタスクデータセットの混合を選択することは、主に手作業によるヒューリスティックなプロセスであり、実践者は、しばしば一様または大きさに基づくサンプリング戦略に依存している。我々は,マルコフランダム場(MRF)上のエネルギー関数を最小化することにより,連続的なタスク割合を選択する,混合最適化の原理的かつスケーラブルなフレームワークであるTASKPGMを紹介する。タスク関係は、Jensen Shannon Divergence や Pointwise Mutual Information などの行動分岐を用いてモデル化され、単一タスク微調整モデルの予測分布から計算される。本手法は, 単純な制約下で閉形式解を導出し, タスク間の代表性と多様性を確実にバランスさせる。予算付き変種に対する弱い部分モジュラリティを含む理論的保証を提供し、MMLU や BIGBench などの評価スイートにおける Llama 2 と Mistral に対する一貫した経験的改善を示す。パフォーマンス以外にも、TASKPGMはタスクの影響と混合合成に関する解釈可能な洞察を提供しており、効率よく堅牢なLCM微調整のための強力なツールとなっている。

関連論文リスト

Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
論文参考訳（メタデータ） (2025-03-27T17:34:25Z)
Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study [11.452011929848844]
本研究では,マルチタスク最適化を支援するメタサロゲートフレームワークを提案する。問題群に適合するメタデータを持つ普遍モデルを定義することにより、多タスクフィットネス予測のための統一的なフレームワークを定式化する。我々のフレームワークは、双対レベルの知識伝達 -- 代理レベルと個別レベルの両方 -- をサポートし、最適化の効率性と堅牢性を高めます。
論文参考訳（メタデータ） (2025-03-11T11:13:11Z)
R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
論文参考訳（メタデータ） (2024-11-27T10:57:06Z)
CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models [23.50705152648991]
マルチタスク学習(MTL)は,大規模言語モデル(LLM)の微調整に有効である LLM の既存の MTL 戦略は、計算集約的であるか、同時タスク収束の確保に失敗したかのいずれかによって、しばしば不足する。本稿では,タスク収束バランスを最小限の計算オーバーヘッドで効果的に管理する新しいMTL手法であるCoBaを提案する。
論文参考訳（メタデータ） (2024-10-09T10:20:32Z)
MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
論文参考訳（メタデータ） (2024-06-11T17:55:25Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文参考訳（メタデータ） (2022-10-23T01:33:16Z)
A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong Reinforcement Learning [11.076005074172516]
強化学習アルゴリズムは、生涯ストリーミング情報に直面すると、破滅的な忘れ物や干渉に容易に遭遇する。本稿では,ネットワーク容量を動的に拡張し,新たな知識に適合する拡張寿命RL法を提案する。提案手法は,拡張寿命の長いRLの実現に成功し,既存の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-05-22T09:48:41Z)
Multi-Task Learning on Networks [0.0]
マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
論文参考訳（メタデータ） (2021-12-07T09:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。