論文の概要: D-GEN: Automatic Distractor Generation and Evaluation for Reliable Assessment of Generative Model

• arxiv url: http://arxiv.org/abs/2504.13439v1
• Date: Fri, 18 Apr 2025 03:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:25:06.5247
• Title: D-GEN: Automatic Distractor Generation and Evaluation for Reliable Assessment of Generative Model
• Title（参考訳）: D-GEN:生成モデルの信頼性評価のための自動ディトラクタ生成と評価
• Authors: Grace Byun, Jinho Choi,
• Abstract要約: D-GENは、オープンエンドデータをMCフォーマットに変換する最初のオープンソースインタプリタジェネレータモデルである。 トラクタの品質を評価するために,ランキングアライメントとエントロピー解析という2つの新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 26.468068259210337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating generative models with open-ended generation is challenging due to inconsistencies in response formats. Multiple-choice (MC) evaluation mitigates this issue, but generating high-quality distractors is time-consuming and labor-intensive. We introduce D-GEN, the first open-source distractor generator model that transforms open-ended data into an MC format. To evaluate distractor quality, we propose two novel methods: (1) ranking alignment, ensuring generated distractors retain the discriminatory power of ground-truth distractors, and (2) entropy analysis, comparing model confidence distributions. Our results show that D-GEN preserves ranking consistency (Spearman's rho 0.99, Kendall's tau 0.94) and closely matches the entropy distribution of ground-truth distractors. Human evaluation further confirms the fluency, coherence, distractiveness, and incorrectness. Our work advances robust and efficient distractor generation with automated evaluation, setting a new standard for MC evaluation.
• Abstract（参考訳）: 応答形式の不整合のため、生成モデルをオープンな生成で評価することは困難である。 マルチチョイス (MC) 評価はこの問題を軽減するが、高品質なイントラクタの生成には時間と労力がかかる。 D-GENは、オープンエンドデータをMCフォーマットに変換する最初のオープンソースインタプリタジェネレータモデルである。 そこで本研究では,(1)アライメントアライメント,生成したトラストラストラクタの識別能力の確保,(2)モデル信頼度分布を比較するエントロピー解析という2つの新しい手法を提案する。 以上の結果から,D-GENは階調の整合性(Spearman's rho 0.99, Kendall's tau 0.94)を保ち,地中トラストラスのエントロピー分布と密接に一致していることがわかった。 人間の評価は、流布、コヒーレンス、気晴らし、不正確さをさらに確認する。 本研究は, MC評価のための新しい標準を策定し, 自動評価による堅牢かつ効率的なトラクタ生成を推し進める。

関連論文リスト

• Adversarial Purification by Consistency-aware Latent Space Optimization on Data Manifolds [48.37843602248313]
  ディープニューラルネットワーク(DNN)は、クリーンデータに知覚不能な摂動を加えることで作られた敵のサンプルに対して脆弱であり、誤った危険な予測につながる可能性がある。 本稿では、事前学習された一貫性モデルの潜在空間内のベクトルを最適化し、クリーンなデータを復元するためのサンプルを生成する、一貫性モデルに基づく適応的パーフィケーション(CMAP)を提案する。 CMAPは、高い自然な精度を維持しながら、強力な敵攻撃に対する堅牢性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-11T14:14:02Z)
• Uncertainty-aware No-Reference Point Cloud Quality Assessment [25.543217625958462]
  本研究は,非参照点クラウド品質評価(PCQA)のための最初の確率的アーキテクチャを提案する。 提案手法は条件付き変分オートエンコーダ(AE)を用いて被験者の品質判定をモデル化できる。 実験により,本手法は従来の最先端手法を大きなマージンで模倣し,データセット間実験を行うことを示す。
  論文  参考訳（メタデータ） (2024-01-17T02:25:42Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Diffusion Denoising Process for Perceptron Bias in Out-of-distribution Detection [67.49587673594276]
  我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。 DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。 CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-21T08:45:08Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。