論文の概要: CDS: Data Synthesis Method Guided by Cognitive Diagnosis Theory

• arxiv url: http://arxiv.org/abs/2501.07674v2
• Date: Wed, 05 Mar 2025 18:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 17:18:40.398415
• Title: CDS: Data Synthesis Method Guided by Cognitive Diagnosis Theory
• Title（参考訳）: CDS:認知診断理論に基づくデータ合成法
• Authors: Haokun Zhao, Jinyi Han, Jiaqing Liang, Yanghua Xiao,
• Abstract要約: 大規模言語モデル(LLM)は大きな進歩を遂げているが、タスクの複雑さが増し、高いパフォーマンス要求が継続的改善の必要性を浮き彫りにしている。 いくつかの手法は、列車モデルの評価結果に基づいて、先進LLMによって生成された合成データを利用する。 本稿では,認知診断理論(CDT)にインスパイアされた診断プロセスを取り入れた認知診断合成(CDS)手法を提案する。
• 参考スコア（独自算出の注目度）: 38.32540433374892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved significant advancements, but the increasing complexity of tasks and higher performance demands highlight the need for continuous improvement. Some approaches utilize synthetic data generated by advanced LLMs based on evaluation results to train models. However, conventional evaluation methods fail to provide detailed, fine-grained profiles of LLMs, limiting their guidance for data synthesis. In this paper, we introduce the Cognitive Diagnostic Synthesis (CDS) method, which incorporates a diagnostic process inspired by Cognitive Diagnosis Theory (CDT) to refine evaluation results and characterize model profiles at the knowledge component level. Based on these diagnostics, we propose two diagnosis-synthesis strategies for weakness-targeted data synthesis. Additionally, we present an enhanced data augmentation and selection pipeline to improve the quality and diversity of synthesized data. Our experiments with several open-source models show significant improvements across multiple benchmarks, achieving up to 6.00% improvement in code generation, 13.10% in mathematical reasoning, and 5.43% in academic exams. Code and data are available on GitHub.
• Abstract（参考訳）: 大規模言語モデル(LLM)は大きな進歩を遂げているが、タスクの複雑さが増し、高いパフォーマンス要求が継続的改善の必要性を浮き彫りにしている。 いくつかの手法は、列車モデルの評価結果に基づいて、先進LLMによって生成された合成データを利用する。 しかし, 従来の評価手法では, LLMの詳細なきめ細かなプロファイルが得られず, データ合成のガイダンスが制限されている。 本稿では,認知診断理論(CDT)にインスパイアされた診断プロセスを取り入れた認知診断合成(CDS)手法を提案する。 これらの診断結果に基づき,弱小データ合成のための2つの診断合成戦略を提案する。 さらに,合成データの品質と多様性を向上させるため,拡張データ拡張と選択パイプラインを提案する。 いくつかのオープンソースモデルによる実験では、複数のベンチマークで大幅に改善され、コード生成が最大6.00%、数学的推論が13.10%、学術試験が5.43%向上した。 コードとデータはGitHubで入手できる。

関連論文リスト

• Prototype-Guided Diffusion for Digital Pathology: Achieving Foundation Model Performance with Minimal Clinical Data [6.318463500874778]
  本研究では,高忠実度合成病理データを大規模に生成するプロトタイプ誘導拡散モデルを提案する。 我々のアプローチは、生成したデータの生物学的、診断学的に有意義な変動を保証します。 我々は、大規模な実世界のデータセットでトレーニングされたモデルよりも60倍-760倍少ないデータを使用しても、我々の合成データセットでトレーニングされた自己教師機能によって競争性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-04-15T21:17:39Z)
• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Leveraging Large Language Models to Address Data Scarcity in Machine Learning: Applications in Graphene Synthesis [0.0]
  材料科学における機械学習は、限られた実験データのために困難に直面している。 大規模言語モデル(LLM)を用いて機械学習の性能を向上させる戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-06T16:04:01Z)
• Step-by-Step Guidance to Differential Anemia Diagnosis with Real-World Data and Deep Reinforcement Learning [1.5272023683653024]
  臨床診断ガイドラインは、診断に到達するための重要な質問を概説する。 本研究の目的は,電子カルテから学習し,正確な診断に最適な行動列を決定するモデルを開発することである。
  論文  参考訳（メタデータ） (2024-12-03T08:45:50Z)
• Enhancing Few-Shot Learning with Integrated Data and GAN Model Approaches [35.431340001608476]
  本稿では,データ拡張とモデルファインチューニングを融合することで,少数ショット学習を向上するための革新的なアプローチを提案する。 薬物発見、ターゲット認識、悪意のあるトラフィック検出などの分野で、小さなサンプルデータによって引き起こされる課題に対処することを目的としている。 その結果,本研究で開発されたMhERGANアルゴリズムは,数発の学習に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-11-25T16:51:11Z)
• Advanced Persistent Threats (APT) Attribution Using Deep Reinforcement Learning [0.0]
  マルウェアの帰属に対するDRLモデルの開発には、広範な研究、反復的なコーディング、多数の調整が含まれていた。 モデルは低い精度で苦労したが、アーキテクチャと学習アルゴリズムの永続的な調整により、精度は劇的に向上した。 トレーニングの終わりまでに、モデルは98%近い精度に達し、マルウェアの活動を正確に認識し、属性付けする強力な能力を示した。
  論文  参考訳（メタデータ） (2024-10-15T10:10:33Z)
• Adversarial Learning for Neural PDE Solvers with Sparse Data [4.226449585713182]
  本研究では,ロバストトレーニングのためのシステムモデル拡張(Systematic Model Augmentation for Robust Training)という,ニューラルネットワークPDEの普遍的学習戦略を紹介する。 モデルの弱点に挑戦し改善することに集中することにより、SMARTはデータスカース条件下でのトレーニング中の一般化エラーを低減する。
  論文  参考訳（メタデータ） (2024-09-04T04:18:25Z)
• Towards Effective and Efficient Continual Pre-training of Large Language Models [163.34610964970258]
  CPT(Continuous pre-training)は、特定のドメインやタスクに言語モデルを適用する上で重要なアプローチである。 本稿では,Llama-3 (8B) の継続事前訓練に関する技術的報告を報告する。 バックボーンモデルの中国語能力と科学的推論能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-26T13:55:21Z)
• Artificial Intelligence in Extracting Diagnostic Data from Dental Records [6.132077347366551]
  本研究は, 未構造化テキストから診断情報を抽出することにより, 歯科記録に欠落する構造データの問題に対処する。 我々は、GPT-4を利用した高度なAIおよびNLP手法を用いて、RoBERTaモデルの微調整のための合成ノートを生成する。 2つのデータセットからランダムに選択した120個の臨床ノートを用いてモデルの評価を行い,診断精度の向上を実証した。
  論文  参考訳（メタデータ） (2024-07-23T04:05:48Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Unified Uncertainty Estimation for Cognitive Diagnosis Models [70.46998436898205]
  本稿では,幅広い認知診断モデルに対する統一的不確実性推定手法を提案する。 診断パラメータの不確かさをデータ・アスペクトとモデル・アスペクトに分解する。 本手法は有効であり,認知診断の不確実性に関する有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2024-03-09T13:48:20Z)
• DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
  データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。 LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。 我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
  論文  参考訳（メタデータ） (2024-03-04T22:47:58Z)
• Less is more: Ensemble Learning for Retinal Disease Recognition Under Limited Resources [12.119196313470887]
  本稿では,限られた資源で網膜疾患を認識できる新しいアンサンブル学習機構を提案する。 このメカニズムは、複数の事前訓練されたモデルからの洞察を活用し、その知識を網膜CT画像に転送し適応させる。
  論文  参考訳（メタデータ） (2024-02-15T06:58:25Z)
• An Explainable Deep Learning-Based Method For Schizophrenia Diagnosis Using Generative Data-Augmentation [0.3222802562733786]
  脳波記録を用いた統合失調症の自動診断にディープラーニングを用いた手法を応用した。 このアプローチは、診断の精度を高める強力な手法である生成データ拡張を利用する。
  論文  参考訳（メタデータ） (2023-10-25T12:55:16Z)
• An Evaluation of Machine Learning Approaches for Early Diagnosis of Autism Spectrum Disorder [0.0]
  自閉症スペクトラム障害(Autistic Spectrum disorder、ASD)は、社会的相互作用、コミュニケーション、反復活動の困難を特徴とする神経疾患である。 本研究は,診断プロセスの強化と自動化を目的として,多様な機械学習手法を用いて重要なASD特性を同定する。
  論文  参考訳（メタデータ） (2023-09-20T21:23:37Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。