論文の概要: How code helps different tasks? A decompositional lens on LLM post-training

• arxiv url: http://arxiv.org/abs/2609.33845v1
• Date: Sun, 27 Sep 2026 18:57:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:18:58.695255
• Title: How code helps different tasks? A decompositional lens on LLM post-training
• Title（参考訳）: コードがさまざまなタスクにどのように役立つか? LLMポストトレーニングにおける分解レンズ
• Abstract要約: 実行検証されたコードコーパスを,その解の計算パターンに基づいて解釈可能なカテゴリに分解する。 質問応答, 数学, コード生成について, 個別のカテゴリと, 命令調整モデル間のバランスの取れた混合体を比較した。 次に、これらの結果から導かれるコンパクトな混合物を合成し、共同トレーニングにおいて個々のカテゴリーで観察される利益が持続するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 30.014378822724876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating code data as a single corpus can obscure which types of code data benefit which models and downstream tasks. Effective data selection requires understanding both the benefits of individual categories and whether these benefits persist when categories are combined. We introduce a decompositional lens for studying these effects in LLM post-training. We first decompose an execution-verified code corpus into interpretable categories based on the computational patterns of its solutions. Through controlled fine-tuning experiments, we compare individual categories with a balanced mixture across instruction-tuned models on question answering, mathematics, and code generation. The resulting response maps reveal recurring gains in average question-answering performance, while the same category can improve one model or task and degrade another. The best-performing category also varies with the starting model and target task. We then compose compact mixtures guided by these results and examine whether benefits observed in individual categories persist under joint training. On selected model--task pairs, mixtures whose constituents each improve the target task outperform both their best constituent and full-corpus training while using roughly 10--15\% of the full corpus. These exploratory findings illustrate a \emph{less is more} pattern and highlight how the value of code data in post training depends on which categories are combined for which model and task.
• Abstract（参考訳）: コードデータを単一のコーパスとして評価することは、どのタイプのコードデータがどのモデルや下流タスクに利益をもたらすかを明らかにすることができる。 効果的なデータ選択には、個々のカテゴリのメリットと、これらのメリットがカテゴリの組み合わせ時に持続するかどうかの両方を理解する必要がある。 LLMポストトレーニングにおけるこれらの効果を研究するための分解レンズを導入する。 まず、実行検証されたコードコーパスを、その解の計算パターンに基づいて解釈可能なカテゴリに分解する。 制御された微調整実験を通じて、各カテゴリーを質問応答、数学、コード生成に関する命令調整モデル間のバランスの取れた混合と比較する。 結果として得られた応答マップは、平均的な質問応答性能で繰り返しゲインを示し、同じカテゴリは、1つのモデルまたはタスクを改善し、もう1つのモデルを分解することができる。 最高のパフォーマンスのカテゴリは、開始モデルと目標タスクによっても異なります。 次に、これらの結果から導かれるコンパクトな混合物を合成し、共同トレーニングにおいて個々のカテゴリーで観察される利益が持続するかどうかを検討する。 選択したモデル-タスクペアにおいて、各構成成分が目標タスクを改善した混合物は、最大構成成分とフルコーパストレーニングの両方に優れ、フルコーパスの約10～15%を使用する。 これらの探索的な発見は、emph{less is more}パターンを示し、ポストトレーニングにおけるコードデータの値は、どのカテゴリがどのモデルとタスクの組み合わせであるかによってどのように異なるかを強調している。

関連論文リスト

• Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
  本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。 提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2026-05-10T17:30:16Z)
• GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning [83.56510119503267]
  モデルがトレーニングを欠席した場合、モデルが生成したサンプルの変化に対してどのように振る舞うか? 拡散モデルに対してGUDA(Group Unlearning-based Data Attribution)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T07:10:59Z)
• Optimizing the Training Diet: Data Mixture Search for Robust Time Series Forecasting [0.8665758002017515]
  データセットを考える場合、いくつかのケースでは"なしはそれ以上"であることが示されます。 本稿では,大規模・未ラベルの時系列コーパスから最適な「トレーニングダイエット」を発見するための枠組みを提案する。
  論文  参考訳（メタデータ） (2025-12-12T13:26:07Z)
• DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks [40.91931801667421]
  本稿では, ベイズ最適化を用いたデータ選択手法として, 影響関数をインターリーブし, 特定の未確認評価タスクからのフィードバックによるデータ混合を最適化する, グローバル・ローカルなアルゴリズムを提案する。 DUETの累積的後悔を解析することにより、DUETはタスクに関するデータ知識がなくても、見えないタスクに対して最適なトレーニングデータ混合に収束することを示す。
  論文  参考訳（メタデータ） (2025-02-01T01:52:32Z)
• Mutual Exclusive Modulator for Long-Tailed Recognition [12.706961256329572]
  ロングテール認識は、カテゴリー間で極めて不均衡なトレーニングサンプルを与えられた高性能分類器を学習するタスクである。 各グループに属する画像の確率を推定できる相互排他変調器を導入する。 提案手法は,最先端のベンチマークと比較すると,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-02-19T07:31:49Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Active Hybrid Classification [79.02441914023811]
  本論文では,クラスタとマシンが分類問題にどう対応できるかを示す。 本稿では,活発な学習と群集分類を編成し,それらを活発なサイクルで組み合わせるアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-01-21T21:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。