論文の概要: NeMo-Inspector: A Visualization Tool for LLM Generation Analysis

• arxiv url: http://arxiv.org/abs/2505.00903v1
• Date: Thu, 01 May 2025 22:47:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.858446
• Title: NeMo-Inspector: A Visualization Tool for LLM Generation Analysis
• Title（参考訳）: NeMo-Inspector: LLM生成解析のための可視化ツール
• Authors: Daria Gitman, Igor Gitman, Evelina Bakhturina,
• Abstract要約: 我々はNeMo-Inspectorを紹介した。NeMo-Inspectorは、統合推論機能を備えた合成データセットの解析を簡素化するオープンソースツールである。 2つの実世界のケースを通してその効果を実証する。
• 参考スコア（独自算出の注目度）: 6.55530159050218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting Large Language Models (LLMs) to novel tasks and enhancing their overall capabilities often requires large, high-quality training datasets. Synthetic data, generated at scale, serves a valuable alternative when real-world data is scarce or difficult to obtain. However, ensuring the quality of synthetic datasets is challenging, as developers must manually inspect and refine numerous samples to identify errors and areas for improvement. This process is time-consuming and requires specialized tools. We introduce NeMo-Inspector, an open-source tool designed to simplify the analysis of synthetic datasets with integrated inference capabilities. We demonstrate its effectiveness through two real-world cases. Analysis and cleaning of the synthetically generated GSM-Plus dataset with NeMo-Inspector led to a significant decrease in low-quality samples from 46.99% to 19.51%. The tool also helped identify and correct generation errors in OpenMath models, improving accuracy by 1.92% on the MATH dataset and by 4.17% on the GSM8K dataset for a Meta-Llama-3-8B model fine-tuned on synthetic data generated from Nemotron-4-340B.
• Abstract（参考訳）: 大規模言語モデル(LLM)を新しいタスクに適用し、全体的な能力を向上させるには、大きな高品質なトレーニングデータセットが必要になることが多い。 大規模に生成された合成データは、現実世界のデータが少ない、あるいは入手が難しい場合に、貴重な代替手段となる。 しかし、開発者は手動で多数のサンプルを調べて精査し、改善のためのエラーや領域を特定する必要があるため、合成データセットの品質を保証することは難しい。 このプロセスは時間がかかり、特別なツールが必要です。 我々はNeMo-Inspectorを紹介した。NeMo-Inspectorは、統合推論機能を備えた合成データセットの解析を簡素化するオープンソースツールである。 2つの実世界のケースを通してその効果を実証する。 NeMo-Inspectorを用いた合成GSM-Plusデータセットの解析とクリーニングにより、低品質のサンプルは46.99%から19.51%に大幅に減少した。 このツールはまた、OpenMathモデルにおける生成エラーの特定と修正にも役立ち、精度をMATHデータセットで1.92%向上し、Meta-Llama-3-8BモデルでNemotron-4-340Bから生成された合成データに基づいて微調整されたGSM8Kデータセットで4.17%向上した。

関連論文リスト

• SWE-Synth: Synthesizing Verifiable Bug-Fix Data to Enable Large Language Models in Resolving Real-World Bugs [10.70881967278009]
  本稿では,現実的な検証可能な,プロセス対応のバグフィックスデータセットをリポジトリレベルで合成するフレームワークであるSWE- Synthを紹介する。 手作業で収集したデータセットと比較して、文脈的豊かさと正確さを保ちながら、最小限の人的労力でスケールする。 この結果から,APRとソフトウェア工学の自動化の最先端を推し進めるために,人工エージェント生成データの可能性を強調した。
  論文  参考訳（メタデータ） (2025-04-20T22:37:43Z)
• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• Evaluating Language Models as Synthetic Data Generators [74.80905172696366]
  AgoraBenchは、LMのデータ生成能力を評価するための標準化された設定とメトリクスを提供するベンチマークである。 6つのLMを使って126万のトレーニングインスタンスを合成し、99の学生モデルをトレーニングすることで、LMのデータ生成能力に関する重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2024-12-04T19:20:32Z)
• TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
  TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。 我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。 合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
  論文  参考訳（メタデータ） (2023-10-27T03:32:17Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Exploiting Asymmetry for Synthetic Training Data Generation: SynthIE and the Case of Information Extraction [28.51694365908817]
  本研究は,大規模言語モデルでは直接解けないタスクに対しても,有用なデータを合成的に生成できることを示唆する。 我々は、1.8Mのデータポイントのデータセットを合成的に生成し、人間の評価において既存のデータセットと比較して優れた品質を確立する。
  論文  参考訳（メタデータ） (2023-03-07T18:48:55Z)
• Fix your Models by Fixing your Datasets [0.6058427379240697]
  現在の機械学習ツールは、データ品質を改善するための合理化されたプロセスを欠いている。 そこで,本研究では,データセットにノイズや誤認のあるサンプルを見つけるための体系的枠組みを提案する。 2つのFortune 500企業のプライベートエンタープライズデータセットと同様に、当社のフレームワークの有効性を公開してみます。
  論文  参考訳（メタデータ） (2021-12-15T02:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。