論文の概要: CDS: Data Synthesis Method Guided by Cognitive Diagnosis Theory

• arxiv url: http://arxiv.org/abs/2501.07674v2
• Date: Wed, 05 Mar 2025 18:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:49:26.826277
• Title: CDS: Data Synthesis Method Guided by Cognitive Diagnosis Theory
• Title（参考訳）: CDS:認知診断理論に基づくデータ合成法
• Authors: Haokun Zhao, Jinyi Han, Jiaqing Liang, Yanghua Xiao,
• Abstract要約: 大規模言語モデル(LLM)は大きな進歩を遂げているが、タスクの複雑さが増し、高いパフォーマンス要求が継続的改善の必要性を浮き彫りにしている。 いくつかの手法は、列車モデルの評価結果に基づいて、先進LLMによって生成された合成データを利用する。 本稿では,認知診断理論(CDT)にインスパイアされた診断プロセスを取り入れた認知診断合成(CDS)手法を提案する。
• 参考スコア（独自算出の注目度）: 38.32540433374892
• License:
• Abstract: Large Language Models (LLMs) have achieved significant advancements, but the increasing complexity of tasks and higher performance demands highlight the need for continuous improvement. Some approaches utilize synthetic data generated by advanced LLMs based on evaluation results to train models. However, conventional evaluation methods fail to provide detailed, fine-grained profiles of LLMs, limiting their guidance for data synthesis. In this paper, we introduce the Cognitive Diagnostic Synthesis (CDS) method, which incorporates a diagnostic process inspired by Cognitive Diagnosis Theory (CDT) to refine evaluation results and characterize model profiles at the knowledge component level. Based on these diagnostics, we propose two diagnosis-synthesis strategies for weakness-targeted data synthesis. Additionally, we present an enhanced data augmentation and selection pipeline to improve the quality and diversity of synthesized data. Our experiments with several open-source models show significant improvements across multiple benchmarks, achieving up to 6.00% improvement in code generation, 13.10% in mathematical reasoning, and 5.43% in academic exams. Code and data are available on GitHub.
• Abstract（参考訳）: 大規模言語モデル(LLM)は大きな進歩を遂げているが、タスクの複雑さが増し、高いパフォーマンス要求が継続的改善の必要性を浮き彫りにしている。 いくつかの手法は、列車モデルの評価結果に基づいて、先進LLMによって生成された合成データを利用する。 しかし, 従来の評価手法では, LLMの詳細なきめ細かなプロファイルが得られず, データ合成のガイダンスが制限されている。 本稿では,認知診断理論(CDT)にインスパイアされた診断プロセスを取り入れた認知診断合成(CDS)手法を提案する。 これらの診断結果に基づき,弱小データ合成のための2つの診断合成戦略を提案する。 さらに,合成データの品質と多様性を向上させるため,拡張データ拡張と選択パイプラインを提案する。 いくつかのオープンソースモデルによる実験では、複数のベンチマークで大幅に改善され、コード生成が最大6.00%、数学的推論が13.10%、学術試験が5.43%向上した。 コードとデータはGitHubで入手できる。

関連論文リスト

• Enhancing Few-Shot Learning with Integrated Data and GAN Model Approaches [35.431340001608476]
  本稿では,データ拡張とモデルファインチューニングを融合することで,少数ショット学習を向上するための革新的なアプローチを提案する。 薬物発見、ターゲット認識、悪意のあるトラフィック検出などの分野で、小さなサンプルデータによって引き起こされる課題に対処することを目的としている。 その結果,本研究で開発されたMhERGANアルゴリズムは,数発の学習に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-11-25T16:51:11Z)
• Adversarial Learning for Neural PDE Solvers with Sparse Data [4.226449585713182]
  本研究では,ロバストトレーニングのためのシステムモデル拡張(Systematic Model Augmentation for Robust Training)という,ニューラルネットワークPDEの普遍的学習戦略を紹介する。 モデルの弱点に挑戦し改善することに集中することにより、SMARTはデータスカース条件下でのトレーニング中の一般化エラーを低減する。
  論文  参考訳（メタデータ） (2024-09-04T04:18:25Z)
• How Deep is your Guess? A Fresh Perspective on Deep Learning for Medical Time-Series Imputation [6.547981908229007]
  アーキテクチャとフレームワークのバイアスがモデルのパフォーマンスにどのように影響するかを示します。 実験では、プリプロセッシングと実装の選択に基づいて、最大20%の性能変化を示す。 我々は,現在の深層計算法と医療要件の相違点を同定する。
  論文  参考訳（メタデータ） (2024-07-11T12:33:28Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Unified Uncertainty Estimation for Cognitive Diagnosis Models [70.46998436898205]
  本稿では,幅広い認知診断モデルに対する統一的不確実性推定手法を提案する。 診断パラメータの不確かさをデータ・アスペクトとモデル・アスペクトに分解する。 本手法は有効であり,認知診断の不確実性に関する有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2024-03-09T13:48:20Z)
• Less is more: Ensemble Learning for Retinal Disease Recognition Under Limited Resources [12.119196313470887]
  本稿では,限られた資源で網膜疾患を認識できる新しいアンサンブル学習機構を提案する。 このメカニズムは、複数の事前訓練されたモデルからの洞察を活用し、その知識を網膜CT画像に転送し適応させる。
  論文  参考訳（メタデータ） (2024-02-15T06:58:25Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。