論文の概要: Continuous Monitoring of Large-Scale Generative AI via Deterministic Knowledge Graph Structures

• arxiv url: http://arxiv.org/abs/2509.03857v1
• Date: Thu, 04 Sep 2025 03:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.040851
• Title: Continuous Monitoring of Large-Scale Generative AI via Deterministic Knowledge Graph Structures
• Title（参考訳）: 決定論的知識グラフ構造を用いた大規模生成AIの連続モニタリング
• Authors: Kishor Datta Gupta, Mohd Ariful Haque, Hasmot Ali, Marufa Kamal, Syed Bahauddin Alam, Mohammad Ashiqur Rahman,
• Abstract要約: そこで本研究では,決定論的・大規模言語モデル(LLM)生成知識グラフ(KG)を用いて,AIの信頼性を計測する手法を提案する。 i) 明示的な規則に基づく手法,辞書,構造化エンティティ関係抽出規則を用いて構築された決定論的KGと,(ii) ライブニュース記事などのリアルタイムデータストリームから動的にLLM生成したKGの2つのKGを構築する。 Instantiated Class Ratio(ICR)、Instantiated Property Ratio(IPR)、Class Instantiation(CI)など、いくつかの確立されたKG指標を用いる。
• 参考スコア（独自算出の注目度）: 2.7277205894982095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI (GEN AI) models have revolutionized diverse application domains but present substantial challenges due to reliability concerns, including hallucinations, semantic drift, and inherent biases. These models typically operate as black-boxes, complicating transparent and objective evaluation. Current evaluation methods primarily depend on subjective human assessment, limiting scalability, transparency, and effectiveness. This research proposes a systematic methodology using deterministic and Large Language Model (LLM)-generated Knowledge Graphs (KGs) to continuously monitor and evaluate GEN AI reliability. We construct two parallel KGs: (i) a deterministic KG built using explicit rule-based methods, predefined ontologies, domain-specific dictionaries, and structured entity-relation extraction rules, and (ii) an LLM-generated KG dynamically derived from real-time textual data streams such as live news articles. Utilizing real-time news streams ensures authenticity, mitigates biases from repetitive training, and prevents adaptive LLMs from bypassing predefined benchmarks through feedback memorization. To quantify structural deviations and semantic discrepancies, we employ several established KG metrics, including Instantiated Class Ratio (ICR), Instantiated Property Ratio (IPR), and Class Instantiation (CI). An automated real-time monitoring framework continuously computes deviations between deterministic and LLM-generated KGs. By establishing dynamic anomaly thresholds based on historical structural metric distributions, our method proactively identifies and flags significant deviations, thus promptly detecting semantic anomalies or hallucinations. This structured, metric-driven comparison between deterministic and dynamically generated KGs delivers a robust and scalable evaluation framework.
• Abstract（参考訳）: ジェネレーティブAI(gen AI)モデルは、多様なアプリケーションドメインに革命をもたらしたが、幻覚、セマンティックドリフト、固有のバイアスなど、信頼性に関する懸念から、重大な課題を提起している。 これらのモデルは一般にブラックボックスとして機能し、透明で客観的な評価を複雑にする。 現在の評価方法は、主に主観的人間評価、スケーラビリティの制限、透明性、有効性に依存している。 本研究では,決定論的・大規模言語モデル(LLM)が生成する知識グラフ(KG)を用いて,遺伝子AIの信頼性を継続的に監視・評価する手法を提案する。 並列KGを2つ構築する。 一 明示的な規則に基づく方法、事前定義されたオントロジー、ドメイン固有の辞書、構造化された実体関係抽出規則を用いて構築された決定論的KG (II)ライブニュース記事などのリアルタイムテキストデータストリームからLLM生成KGを動的に生成する。 リアルタイムニュースストリームを利用することで、信頼性が保証され、バイアスが反復的なトレーニングから軽減され、適応LDMが事前に定義されたベンチマークをフィードバックの記憶を通じてバイパスするのを防ぐ。 Instantiated Class Ratio(ICR)、Instantiated Property Ratio(IPR)、Class Instantiation(CI)など、いくつかの確立されたKG指標を用いる。 自動リアルタイム監視フレームワークは、決定論的KGとLLM生成KGのずれを連続的に計算する。 歴史的構造量分布に基づく動的異常しきい値を確立することにより,本手法は有意な偏差を積極的に識別し,フラグを立て,意味的異常や幻覚を迅速に検出する。 決定論的および動的に生成されたKGのこの構造化された計量駆動比較は、堅牢でスケーラブルな評価フレームワークを提供する。

関連論文リスト

• Commuting Distance Regularization for Timescale-Dependent Label Inconsistency in EEG Emotion Recognition [1.4499463058550683]
  脳波に基づく人間の感情認識のためのニューラルネットワークモデルのトレーニングにおいて、TsDLI(Timescale Dependent Label Inconsistency)がしばしば見過ごされる問題に対処する。 局所変動損失(LVL)と局所グローバル一貫性損失(LGCL)の2つの新しい正規化戦略を提案する。 その結果,提案手法は最先端のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-07-15T01:22:14Z)
• SelfPrompt: Autonomously Evaluating LLM Robustness via Domain-Constrained Knowledge Guidelines and Refined Adversarial Prompts [0.6291443816903801]
  本稿では,大規模言語モデル(LLM)のロバスト性を自律的に評価する新しいフレームワークを提案する。 本稿では,ドメイン制約付き知識グラフ三重項から記述文を生成し,敵対的プロンプトを定式化する。 この自己評価機構により、LCMは外部ベンチマークを必要とせずにその堅牢性を評価することができる。
  論文  参考訳（メタデータ） (2024-12-01T10:58:53Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Development of Interpretable Machine Learning Models to Detect Arrhythmia based on ECG Data [0.0]
  この論文は、最先端モデルに基づいた畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)分類器を構築する。 大域的および局所的解釈可能性法は、依存変数と独立変数の相互作用を理解するために利用される。 提案したCNNモデルとLSTMモデルの予測を説明する上で,Grad-Camが最も効果的な解釈可能性技術であることが判明した。
  論文  参考訳（メタデータ） (2022-05-05T17:29:33Z)
• Formal Verification of Unknown Dynamical Systems via Gaussian Process Regression [11.729744197698718]
  安全クリティカルなシナリオにおける自律システムの活用には、不確実性の存在下での行動を検証する必要がある。 本研究では,非モデル化された力学と雑音測定を用いた離散時間力学システムの検証フレームワークを開発した。
  論文  参考訳（メタデータ） (2021-12-31T05:10:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。