論文の概要: Dynamic-KGQA: A Scalable Framework for Generating Adaptive Question Answering Datasets

• arxiv url: http://arxiv.org/abs/2503.05049v1
• Date: Thu, 06 Mar 2025 23:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 19:13:14.830227
• Title: Dynamic-KGQA: A Scalable Framework for Generating Adaptive Question Answering Datasets
• Title（参考訳）: Dynamic-KGQA: 適応的な質問回答データセットを生成するためのスケーラブルなフレームワーク
• Authors: Preetam Prabhu Srikar Dammu, Himanshu Naidu, Chirag Shah,
• Abstract要約: 知識グラフから適応的なQAデータセットを生成するスケーラブルなフレームワークであるDynamic-KGQAを紹介する。 固定ベンチマークとは異なり、Dynamic-KGQAは、基盤となるディストリビューションを保持しながら、実行毎に新しいデータセットバリアントを生成する。 Dynamic-KGQAは、KGQAモデルのトレーニングと評価を容易にするコンパクトでセマンティックなコヒーレントなサブグラフを生成する。
• 参考スコア（独自算出の注目度）: 9.785129730843435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As question answering (QA) systems advance alongside the rapid evolution of foundation models, the need for robust, adaptable, and large-scale evaluation benchmarks becomes increasingly critical. Traditional QA benchmarks are often static and publicly available, making them susceptible to data contamination and memorization by large language models (LLMs). Consequently, static benchmarks may overestimate model generalization and hinder a reliable assessment of real-world performance. In this work, we introduce Dynamic-KGQA, a scalable framework for generating adaptive QA datasets from knowledge graphs (KGs), designed to mitigate memorization risks while maintaining statistical consistency across iterations. Unlike fixed benchmarks, Dynamic-KGQA generates a new dataset variant on every run while preserving the underlying distribution, enabling fair and reproducible evaluations. Furthermore, our framework provides fine-grained control over dataset characteristics, supporting domain-specific and topic-focused QA dataset generation. Additionally, Dynamic-KGQA produces compact, semantically coherent subgraphs that facilitate both training and evaluation of KGQA models, enhancing their ability to leverage structured knowledge effectively. To align with existing evaluation protocols, we also provide static large-scale train/test/validation splits, ensuring comparability with prior methods. By introducing a dynamic, customizable benchmarking paradigm, Dynamic-KGQA enables a more rigorous and adaptable evaluation of QA systems.
• Abstract（参考訳）: 基礎モデルの急速な進化とともにQA(QA)システムが進歩するにつれて、堅牢で適応性があり、大規模な評価ベンチマークの必要性がますます重要になっている。 従来のQAベンチマークは静的で公開されており、大きな言語モデル(LLM)によるデータの汚染や暗記の影響を受けやすい。 その結果、静的なベンチマークはモデルの一般化を過大評価し、実際の性能の信頼性を損なう可能性がある。 本研究では,知識グラフ(KG)から適応的なQAデータセットを生成するためのスケーラブルなフレームワークであるDynamic-KGQAを紹介する。 固定ベンチマークとは異なり、Dynamic-KGQAは、基礎となるディストリビューションを保持しながら、実行毎に新しいデータセットバリアントを生成し、公正で再現可能な評価を可能にする。 さらに,本フレームワークは,データセットの特徴を詳細に制御し,ドメイン固有およびトピック指向のQAデータセット生成をサポートする。 さらに、Dynamic-KGQAは、KGQAモデルのトレーニングと評価の両方を容易にし、構造化知識を効果的に活用する能力を高める、コンパクトでセマンティックなコヒーレントなサブグラフを生成する。 既存の評価プロトコルに合わせて,静的な大規模列車/テスト/バリデーションスプリットも提供し,従来の手法との互換性を確保する。 動的でカスタマイズ可能なベンチマークパラダイムを導入することで、動的KGQAはQAシステムのより厳密で適応可能な評価を可能にする。

関連論文リスト

• Generative QoE Modeling: A Lightweight Approach for Telecom Networks [6.473372512447993]
  本研究では,計算効率,解釈可能性,予測精度のバランスをとる軽量な生成モデリングフレームワークを提案する。 ベクトル量子化(VQ)を前処理技術として用いることにより、連続的なネットワーク機能は事実上離散的な分類記号に変換される。 このVQ-HMMパイプラインは、新しい未知のデータに対する確率的推論をサポートしながら、動的QoEパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2025-04-30T06:19:37Z)
• QCS-ADME: Quantum Circuit Search for Drug Property Prediction with Imbalanced Data and Regression Adaptation [11.101993017609246]
  不均衡な分類と回帰タスクにおけるQML回路性能を評価するための新しい学習自由スコアリング機構を提案する。 本機構は,不均衡な分類タスクにおける評価基準と試験性能の有意な相関を示す。 これは、回帰アプリケーションに特化してQCS回路を探索し評価する最初の包括的アプローチである。
  論文  参考訳（メタデータ） (2025-03-02T19:29:04Z)
• Generalization is not a universal guarantee: Estimating similarity to training data with an ensemble out-of-distribution metric [0.09363323206192666]
  機械学習モデルの新しいデータへの一般化の失敗は、AIシステムの信頼性を制限する中核的な問題である。 本稿では、一般化可能性推定(SAGE)のための教師付きオートエンコーダを構築することにより、データの類似性を評価するための標準化されたアプローチを提案する。 モデル自体のトレーニングやテストデータセットのデータに適用しても,SAGEスコアのフィルタリング後にアウト・オブ・ボックスモデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-22T19:21:50Z)
• Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization [55.09893295671917]
  本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。 GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-09T07:26:21Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。