論文の概要: LinkQA: Synthesizing Diverse QA from Multiple Seeds Strongly Linked by Knowledge Points

• arxiv url: http://arxiv.org/abs/2508.01317v1
• Date: Sat, 02 Aug 2025 11:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.819104
• Title: LinkQA: Synthesizing Diverse QA from Multiple Seeds Strongly Linked by Knowledge Points
• Title（参考訳）: LinkQA: 知識ポイントで強くリンクされた複数種子から多種間QAを合成する
• Authors: Xuemiao Zhang, Can Ren, Chengying Tu, Rongxiang Weng, Hongfei Yan, Jingang Wang, Xunliang Cai,
• Abstract要約: LinkSynは、新しい知識ポイント(KP)グラフベースの合成フレームワークである。 LinkSynはQAシードデータからKPを抽出し、多様なQAデータを合成するためにKPグラフを構築する。 LinkQAは、モデルサイズと初期FLOPスケールのパフォーマンスを一貫して向上させる。
• 参考スコア（独自算出の注目度）: 15.81154701009597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advancement of large language models (LLMs) struggles with the scarcity of high-quality, diverse training data. To address this limitation, we propose LinkSyn, a novel knowledge point (KP) graph-based synthesis framework that enables flexible control over discipline and difficulty distributions while balancing KP coverage and popularity. LinkSyn extracts KPs from question-answering (QA) seed data and constructs a KP graph to synthesize diverse QA data from multiple seeds strongly linked by KPs and sampled from graph walks. Specifically, LinkSyn incorporates (1) a knowledge distribution value function to guide the adjustment of path sampling probability and balance KP coverage and popularity during graph walks; (2) diffusion-based synthesis via DeepSeek-R1 by leveraging multiple seeds with dense logical associations along each path; and (3) high-difficulty QA enhancement within given disciplines by flexible difficulty adjustments. By executing LinkSyn, we synthesize LinkQA, a diverse multi-disciplinary QA dataset with 50B tokens. Extensive experiments on Llama-3 8B demonstrate that continual pre-training with LinkQA yields an average improvement of $\mathbf{11.51\%}$ on MMLU and CMMLU, establishing new SOTA results. LinkQA consistently enhances performance across model size and initial FLOPs scales.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、高品質で多様なトレーニングデータの不足に苦慮している。 この制限に対処するため,新しい知識点(KP)グラフベースの合成フレームワークであるLinkSynを提案する。 LinkSynは質問応答(QA)シードデータからKPを抽出し、KPグラフを構築して、KPによって強くリンクされ、グラフウォークからサンプリングされた複数のシードから多様なQAデータを合成する。 具体的には,(1)経路サンプリング確率の調整とグラフウォーク中のKPカバレッジと人気のバランスを導出する知識分布値関数,(2)経路に沿って密集した論理的関係を持つ複数の種子を利用するDeepSeek-R1による拡散ベース合成,(3)フレキシブルな難易度調整によって与えられた分野内での高次QA向上を図った。 LinkSynを実行することで、50Bトークンで多分野のQAデータセットであるLinkQAを合成する。 Llama-3 8Bの大規模な実験により、LinkQAによる継続事前学習は、MMLUとCMMLUで$\mathbf{11.51\%}$の平均的な改善をもたらし、新しいSOTA結果が得られた。 LinkQAは、モデルサイズと初期FLOPスケールのパフォーマンスを一貫して向上させる。

関連論文リスト

• Large-Scale Diverse Synthesis for Mid-Training [15.81154701009597]
  BoostQAは100Bの大規模質問回答データセットである。 本稿では,BoostQAを合成するための新しい多様化パイプラインを提案する。 提案手法は,Llama-3 8Bを40Bトーケンデータセットで中級訓練し,MMLUとCMMLUで平均$mathbf12.74%の改善を実現する。
  論文  参考訳（メタデータ） (2025-08-02T11:37:16Z)
• Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning [80.27561080938747]
  本研究では,人間のアノテーションを使わずに,大規模言語モデル(LLM)の短文および長文生成タスクにおける忠実度を改善するための体系的フレームワークであるCANOEを提案する。 また,ルールに基づく強化学習手法であるDual-GRPOを提案する。 実験結果から,CANOEは11の下流タスクにまたがるLLMの忠実度を大幅に向上し,最も先進的なLLMよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-22T10:10:07Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base Question Answering [16.88132219032486]
  手動のアノテーションに関連する負担を軽減するためにFlexKBQAを導入します。 我々はLarge Language Models (LLM) を,KBQAタスクに固有の課題に対処するためのプログラムトランスレータとして活用する。 具体的には、FlexKBQAは自動化アルゴリズムを利用して、知識ベースからSPARQLクエリなどの多様なプログラムをサンプリングする。 より難易度の高いゼロショットシナリオでさえも、FlexKBQAは、いくつかのアノテーションで印象的な結果を得ることができます。
  論文  参考訳（メタデータ） (2023-08-23T11:00:36Z)
• Long-Tailed Question Answering in an Open World [46.67715607552547]
  我々は、Long-Tailed QA (OLTQA) を、長い尾の分散データから学習するものとして定義する。 OLTQAモデルを提案し,頭,尾,目立たないタスク間の知識共有を促進する。 大規模なOLTQAデータセットでは、我々のモデルは一貫して最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-05-11T04:28:58Z)
• MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning [63.46052494151171]
  テキストマルチエージェント代替Q-ラーニング(MA2QL)を提案し、エージェントが順番にQ-ラーニングによってQ-関数を更新する。 各エージェントが各ターンで$varepsilon$-convergenceを保証した場合、それらの合同ポリシーはナッシュ均衡に収束する。 結果は、MA2QLが最小限の変更にもかかわらず、MA2QLの有効性を検証するIQLを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2022-09-17T04:54:32Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。