論文の概要: NodeSynth: Socially Aligned Synthetic Data for AI Evaluation

• arxiv url: http://arxiv.org/abs/2605.14381v2
• Date: Sat, 16 May 2026 23:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:45.99617
• Title: NodeSynth: Socially Aligned Synthetic Data for AI Evaluation
• Title（参考訳）: NodeSynth: AI評価のためのソーシャルアラインな合成データ
• Authors: Qazi Mamunur Rashid, Xuan Yang, Zhengzhe Yang, Yanzhou Pan, Erin van Liemt, Darlene Neal, Kshitij Pancholi, Jamila Smith-Loud,
• Abstract要約: 社会的に関連する合成クエリを生成するエビデンスベースの手法であるNode Synthを紹介する。 Node Synthは、人によるベンチマークの最大5倍の失敗率を示している。 スケーラブルで高精度なモデル評価を可能にするために、エンドツーエンドの研究プロトタイプとデータセットをオープンソースにしています。
• 参考スコア（独自算出の注目度）: 13.768105966930916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in generative AI facilitate large-scale synthetic data generation for model evaluation. However, without targeted approaches, these datasets often lack the sociotechnical nuance required for sensitive domains. We introduce NodeSynth, an evidence-grounded methodology that generates socially relevant synthetic queries by leveraging a fine-tuned taxonomy generator (TaG) anchored in real-world evidence. Evaluated against four mainstream LLMs (e.g., Claude 4.5 Haiku), NodeSynth elicited failure rates up to five times higher than human-authored benchmarks. Ablation studies confirm that our granular taxonomic expansion significantly drives these failure rates, while independent validation reveals critical deficiencies in prominent guard models (e.g., Llama-Guard-3). We open-source our end-to-end research prototype and datasets to enable scalable, high-stakes model evaluation and targeted safety interventions (https://github.com/google-research/nodesynth).
• Abstract（参考訳）: 生成AIの最近の進歩は、モデル評価のための大規模合成データ生成を促進する。 しかし、ターゲットとなるアプローチがなければ、これらのデータセットは、敏感なドメインに必要な社会技術的ニュアンスを欠くことが多い。 実世界の証拠に固定された微調整分類器(TaG)を活用することにより、社会に関係のある合成クエリを生成するエビデンス基底手法であるNodeSynthを紹介する。 メインストリームの4つのLM(例えばClaude 4.5 Haiku)に対して評価されたNodeSynthは、人によるベンチマークの最大5倍の失敗率を示していた。 アブレーション研究は、我々の粒度の分類学的拡張がこれらの失敗率を著しく向上させ、一方独立した検証は、著名なガードモデル(例えば、Llama-Guard-3)に重大な欠陥があることを明らかにしている。 当社はエンドツーエンドの研究プロトタイプとデータセットをオープンソースとして公開し、スケーラブルでハイテイクなモデル評価とターゲットとする安全性の介入を可能にする(https://github.com/google-research/nodesynth)。

関連論文リスト

• Reasoning-Driven Synthetic Data Generation and Evaluation [3.4565140548638884]
  Simulaはデータ生成と評価のための新しい推論駆動フレームワークである。 シードレスでエージェント的なアプローチで、大規模に合成データセットを生成する。 提案手法は,本質的特性と下流特性の両方を厳密に検証し,様々なデータセットに対して有効性を示す。
  論文  参考訳（メタデータ） (2026-03-31T14:26:33Z)
• Understanding the Influence of Synthetic Data for Text Embedders [52.04771455432998]
  まず,Wangらによって提案された合成データの再生と公開を行った。 合成データがモデル一般化をどのように改善するかを批判的に検討する。 本研究は, 汎用インバータ構築における, 現在の合成データ手法の限界を浮き彫りにしたものである。
  論文  参考訳（メタデータ） (2025-09-07T19:28:52Z)
• SynDelay: A Synthetic Dataset for Delivery Delay Prediction [50.56729406793283]
  配送遅延予測のための合成データセットであるSynDelayを提案する。 これはサプライチェーンAIにおけるデータセットの共有とベンチマークを促進するオープンイニシアチブである。
  論文  参考訳（メタデータ） (2025-08-30T21:54:37Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• How Good Are Synthetic Requirements ? Evaluating LLM-Generated Datasets for AI4RE [0.5156484100374059]
  本稿では,合成要求データを生成するための改良された製品ラインアプローチを提案する。 提案する4つの研究課題は,データ品質にどのような影響を及ぼすか,また,自動的なプロンプト最適化,およびポストジェネレーションのキュレーションについて検討する。 以上の結果から, 人工的な要件は, 特定のタスクにおいて, 人為的な要件と一致し, より優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-26T10:52:07Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Hybrid Deep Learning Model using SPCAGAN Augmentation for Insider Threat Analysis [7.576808824987132]
  ディープラーニングを用いた異常検出には包括的データが必要であるが、機密性に関する懸念からインサイダー脅威データは利用できない。 本研究では,不均一なデータソースから入力を受ける線形多様体学習に基づく生成逆ネットワークSPCAGANを提案する。 提案手法は誤差が低く,精度が高く,従来のモデルよりもはるかに優れた合成インサイダー脅威データを生成する。
  論文  参考訳（メタデータ） (2022-03-06T02:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。