論文の概要: Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis

• arxiv url: http://arxiv.org/abs/2601.03676v1
• Date: Wed, 07 Jan 2026 07:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.155974
• Title: Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis
• Title（参考訳）: 技能分類学指導データ合成によるLCMの構成的一般化に向けて
• Authors: Yifan Wei, Li Du, Xiaoyan Yu, Yang Feng, Angsheng Li,
• Abstract要約: 大規模言語モデル(LLM)とエージェントベースのシステムは、しばしばデータボトルネックのために構成的な一般化に苦しむ。 本稿では,構成に難渋するデータを生成するための,エントロピーに基づく学習後データ合成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.011199070887386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) and agent-based systems often struggle with compositional generalization due to a data bottleneck in which complex skill combinations follow a long-tailed, power-law distribution, limiting both instruction-following performance and generalization in agent-centric tasks. To address this challenge, we propose STEPS, a Skill Taxonomy guided Entropy-based Post-training data Synthesis framework for generating compositionally challenging data. STEPS explicitly targets compositional generalization by uncovering latent relationships among skills and organizing them into an interpretable, hierarchical skill taxonomy using structural information theory. Building on this taxonomy, we formulate data synthesis as a constrained information maximization problem, selecting skill combinations that maximize marginal structural information within the hierarchy while preserving semantic coherence. Experiments on challenging instruction-following benchmarks show that STEPS outperforms existing data synthesis baselines, while also yielding improved compositional generalization in downstream agent-based evaluations.
• Abstract（参考訳）: 大規模言語モデル(LLM)とエージェントベースシステムは、複雑なスキルの組み合わせが長い尾のパワー・ローの分布に従い、命令追従性能とエージェント中心のタスクの一般化の両方を制限するというデータボトルネックのため、構成的一般化に苦慮することが多い。 そこで我々は,STEPSを提案する。STEPS,Skill Taxonomy Guided Entropy-based Post-training data synthesis framework for generate compositionally challenge data。 STEPSは、スキル間の潜伏関係を明らかにし、構造情報理論を用いて解釈可能で階層的なスキル分類に整理することで、作曲の一般化を明示的に狙う。 この分類に基づいて,データ合成を制約情報最大化問題として定式化し,セマンティックコヒーレンスを保ちながら階層内の限界構造情報を最大化するスキルの組み合わせを選択する。 STEPSは既存のデータ合成ベースラインよりも優れており、下流エージェントに基づく評価では合成一般化の改善が期待できる。

関連論文リスト

• StructSynth: Leveraging LLMs for Structure-Aware Tabular Data Synthesis in Low-Data Regimes [15.476662936746989]
  構造化シンス(Struct Synth)は、大規模言語モデルの生成能力と堅牢な構造制御を統合する新しいフレームワークである。 最先端の手法よりもはるかに高い構造整合性と下流の実用性を持つ合成データを生成する。 これは低データのシナリオに挑戦する上で特に有効であることが証明され、プライバシー保護と統計的忠実性の間のトレードオフをナビゲートすることに成功した。
  論文  参考訳（メタデータ） (2025-08-04T16:55:02Z)
• Synthesize-on-Graph: Knowledgeable Synthetic Data Generation for Continue Pre-training of Large Language Models [17.169112112753513]
  大規模言語モデル(LLM)は驚くほど成功したが、データ非効率のままである。 文書内コンテンツへの事前学習を継続する既存の合成データ生成手法 本稿では,クロスドキュメント・ナレッジ・アソシエーションを組み込んだ合成データ生成フレームワークであるSynthetic-on-Graph(SoG)を提案する。
  論文  参考訳（メタデータ） (2025-05-02T03:40:39Z)
• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• TARGA: Targeted Synthetic Data Generation for Practical Reasoning over Structured Data [9.390415313514762]
  TARGAは、手動のアノテーションなしで高関連性合成データを生成するフレームワークである。 これは、クローズソースモデルを使用する既存の非微調整手法よりも大幅に優れている。 非I.I.D.設定下では、優れたサンプル効率、堅牢性、一般化能力を示す。
  論文  参考訳（メタデータ） (2024-12-27T09:16:39Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。