論文の概要: Continuous Monitoring of Large-Scale Generative AI via Deterministic Knowledge Graph Structures

• arxiv url: http://arxiv.org/abs/2509.03857v1
• Date: Thu, 04 Sep 2025 03:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.040851
• Title: Continuous Monitoring of Large-Scale Generative AI via Deterministic Knowledge Graph Structures
• Title（参考訳）: 決定論的知識グラフ構造を用いた大規模生成AIの連続モニタリング
• Authors: Kishor Datta Gupta, Mohd Ariful Haque, Hasmot Ali, Marufa Kamal, Syed Bahauddin Alam, Mohammad Ashiqur Rahman,
• Abstract要約: そこで本研究では,決定論的・大規模言語モデル(LLM)生成知識グラフ(KG)を用いて,AIの信頼性を計測する手法を提案する。 i) 明示的な規則に基づく手法,辞書,構造化エンティティ関係抽出規則を用いて構築された決定論的KGと,(ii) ライブニュース記事などのリアルタイムデータストリームから動的にLLM生成したKGの2つのKGを構築する。 Instantiated Class Ratio(ICR)、Instantiated Property Ratio(IPR)、Class Instantiation(CI)など、いくつかの確立されたKG指標を用いる。
• 参考スコア（独自算出の注目度）: 2.7277205894982095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI (GEN AI) models have revolutionized diverse application domains but present substantial challenges due to reliability concerns, including hallucinations, semantic drift, and inherent biases. These models typically operate as black-boxes, complicating transparent and objective evaluation. Current evaluation methods primarily depend on subjective human assessment, limiting scalability, transparency, and effectiveness. This research proposes a systematic methodology using deterministic and Large Language Model (LLM)-generated Knowledge Graphs (KGs) to continuously monitor and evaluate GEN AI reliability. We construct two parallel KGs: (i) a deterministic KG built using explicit rule-based methods, predefined ontologies, domain-specific dictionaries, and structured entity-relation extraction rules, and (ii) an LLM-generated KG dynamically derived from real-time textual data streams such as live news articles. Utilizing real-time news streams ensures authenticity, mitigates biases from repetitive training, and prevents adaptive LLMs from bypassing predefined benchmarks through feedback memorization. To quantify structural deviations and semantic discrepancies, we employ several established KG metrics, including Instantiated Class Ratio (ICR), Instantiated Property Ratio (IPR), and Class Instantiation (CI). An automated real-time monitoring framework continuously computes deviations between deterministic and LLM-generated KGs. By establishing dynamic anomaly thresholds based on historical structural metric distributions, our method proactively identifies and flags significant deviations, thus promptly detecting semantic anomalies or hallucinations. This structured, metric-driven comparison between deterministic and dynamically generated KGs delivers a robust and scalable evaluation framework.
• Abstract（参考訳）: ジェネレーティブAI(gen AI)モデルは、多様なアプリケーションドメインに革命をもたらしたが、幻覚、セマンティックドリフト、固有のバイアスなど、信頼性に関する懸念から、重大な課題を提起している。 これらのモデルは一般にブラックボックスとして機能し、透明で客観的な評価を複雑にする。 現在の評価方法は、主に主観的人間評価、スケーラビリティの制限、透明性、有効性に依存している。 本研究では,決定論的・大規模言語モデル(LLM)が生成する知識グラフ(KG)を用いて,遺伝子AIの信頼性を継続的に監視・評価する手法を提案する。 並列KGを2つ構築する。 一 明示的な規則に基づく方法、事前定義されたオントロジー、ドメイン固有の辞書、構造化された実体関係抽出規則を用いて構築された決定論的KG (II)ライブニュース記事などのリアルタイムテキストデータストリームからLLM生成KGを動的に生成する。 リアルタイムニュースストリームを利用することで、信頼性が保証され、バイアスが反復的なトレーニングから軽減され、適応LDMが事前に定義されたベンチマークをフィードバックの記憶を通じてバイパスするのを防ぐ。 Instantiated Class Ratio(ICR)、Instantiated Property Ratio(IPR)、Class Instantiation(CI)など、いくつかの確立されたKG指標を用いる。 自動リアルタイム監視フレームワークは、決定論的KGとLLM生成KGのずれを連続的に計算する。 歴史的構造量分布に基づく動的異常しきい値を確立することにより,本手法は有意な偏差を積極的に識別し,フラグを立て,意味的異常や幻覚を迅速に検出する。 決定論的および動的に生成されたKGのこの構造化された計量駆動比較は、堅牢でスケーラブルな評価フレームワークを提供する。

関連論文リスト

• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• Volatility in Certainty (VC): A Metric for Detecting Adversarial Perturbations During Inference in Neural Network Classifiers [0.5793804025420254]
  ニューラルネットワーク分類器をデプロイする上で、相反する堅牢性は依然として重要な課題である。 本稿では,モデル信頼度における不規則性を定量化するラベルフリー計量であるtextitVolatility in Certainty (VC)について検討する。
  論文  参考訳（メタデータ） (2025-11-14T19:51:04Z)
• Generative Modeling and Decision Fusion for Unknown Event Detection and Classification Using Synchrophasor Data [9.871276314615447]
  本稿では, 生成モデル, スライドウインドウ時間処理, 決定融合を統合し, 堅牢なイベント検出と分類を実現する新しいフレームワークを提案する。 実験結果は、最先端の精度、機械学習、ディープラーニング、エンベロープベースのベースラインを上回ることを示す。
  論文  参考訳（メタデータ） (2025-09-26T18:04:03Z)
• Commuting Distance Regularization for Timescale-Dependent Label Inconsistency in EEG Emotion Recognition [1.4499463058550683]
  脳波に基づく人間の感情認識のためのニューラルネットワークモデルのトレーニングにおいて、TsDLI(Timescale Dependent Label Inconsistency)がしばしば見過ごされる問題に対処する。 局所変動損失(LVL)と局所グローバル一貫性損失(LGCL)の2つの新しい正規化戦略を提案する。 その結果,提案手法は最先端のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-07-15T01:22:14Z)
• SelfPrompt: Autonomously Evaluating LLM Robustness via Domain-Constrained Knowledge Guidelines and Refined Adversarial Prompts [0.6291443816903801]
  本稿では,大規模言語モデル(LLM)のロバスト性を自律的に評価する新しいフレームワークを提案する。 本稿では,ドメイン制約付き知識グラフ三重項から記述文を生成し,敵対的プロンプトを定式化する。 この自己評価機構により、LCMは外部ベンチマークを必要とせずにその堅牢性を評価することができる。
  論文  参考訳（メタデータ） (2024-12-01T10:58:53Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Development of Interpretable Machine Learning Models to Detect Arrhythmia based on ECG Data [0.0]
  この論文は、最先端モデルに基づいた畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)分類器を構築する。 大域的および局所的解釈可能性法は、依存変数と独立変数の相互作用を理解するために利用される。 提案したCNNモデルとLSTMモデルの予測を説明する上で,Grad-Camが最も効果的な解釈可能性技術であることが判明した。
  論文  参考訳（メタデータ） (2022-05-05T17:29:33Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Formal Verification of Unknown Dynamical Systems via Gaussian Process Regression [11.729744197698718]
  安全クリティカルなシナリオにおける自律システムの活用には、不確実性の存在下での行動を検証する必要がある。 本研究では,非モデル化された力学と雑音測定を用いた離散時間力学システムの検証フレームワークを開発した。
  論文  参考訳（メタデータ） (2021-12-31T05:10:05Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。