論文の概要: RvLLM: LLM Runtime Verification with Domain Knowledge

• arxiv url: http://arxiv.org/abs/2505.18585v1
• Date: Sat, 24 May 2025 08:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.522096
• Title: RvLLM: LLM Runtime Verification with Domain Knowledge
• Title（参考訳）: RvLLM: LLMランタイムのドメイン知識による検証
• Authors: Yedi Zhang, Sun Yi Emma, Annabelle Lee Jia En, Annabelle Lee Jia En, Jin Song Dong,
• Abstract要約: 大規模言語モデル(LLM)は、例外的なテキスト理解と生成能力のため、AIパラダイムの主流として現れている。 不整合または誤ったアウトプットを生成する傾向は、特に正確さと信頼性を必要とする高い領域において、その信頼性に挑戦する。 既存の研究は、多くの場合、ドメイン固有の知識を統合する可能性を見越して、汎用シナリオにおけるモデル誤動作の検出と緩和に重点を置いている。
• 参考スコア（独自算出の注目度）: 7.6026328596445065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have emerged as a dominant AI paradigm due to their exceptional text understanding and generation capabilities. However, their tendency to generate inconsistent or erroneous outputs challenges their reliability, especially in high-stakes domains requiring accuracy and trustworthiness. Existing research primarily focuses on detecting and mitigating model misbehavior in general-purpose scenarios, often overlooking the potential of integrating domain-specific knowledge. In this work, we advance misbehavior detection by incorporating domain knowledge. The core idea is to design a general specification language that enables domain experts to customize domain-specific predicates in a lightweight and intuitive manner, supporting later runtime verification of LLM outputs. To achieve this, we design a novel specification language, ESL, and introduce a runtime verification framework, RvLLM, to validate LLM output against domain-specific constraints defined in ESL. We evaluate RvLLM on three representative tasks: violation detection against Singapore Rapid Transit Systems Act, numerical comparison, and inequality solving. Experimental results demonstrate that RvLLM effectively detects erroneous outputs across various LLMs in a lightweight and flexible manner. The results reveal that despite their impressive capabilities, LLMs remain prone to low-level errors due to limited interpretability and a lack of formal guarantees during inference, and our framework offers a potential long-term solution by leveraging expert domain knowledge to rigorously and efficiently verify LLM outputs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、例外的なテキスト理解と生成能力のため、AIパラダイムの主流として現れている。 しかし、不整合や誤出力を生み出す傾向は、特に正確さと信頼性を必要とする高い領域において、その信頼性に挑戦する。 既存の研究は、多くの場合、ドメイン固有の知識を統合する可能性を見越して、汎用シナリオにおけるモデル誤動作の検出と緩和に重点を置いている。 本研究では,ドメイン知識を取り入れた誤動作検出手法を提案する。 ドメインの専門家が軽量で直感的にドメイン固有の述語をカスタマイズできる汎用仕様言語を設計し、後のLCM出力のランタイム検証をサポートする。 そこで我々は,新しい仕様言語 ESL を設計し,ランタイム検証フレームワーク RvLLM を導入し,ESL で定義されたドメイン固有の制約に対して LLM 出力を検証する。 シンガポール高速交通法違反検出法,数値比較,不平等解決の3つの代表的な課題についてRvLLMを評価した。 実験結果から,RvLLMは様々なLLMの誤出力を,軽量かつ柔軟な方法で効果的に検出できることがわかった。 その結果,LLMの能力は優れていても,解釈可能性の制限や推論中の形式的保証の欠如などにより,低レベルの誤りに悩まされがちであり,本フレームワークは,専門家の知識を活用してLLM出力の厳密かつ効率的な検証を行うことにより,潜在的に長期的解決策を提供する。

関連論文リスト

• Leveraging Domain Knowledge at Inference Time for LLM Translation: Retrieval versus Generation [36.41708236431343]
  機械翻訳(MT)において,大規模言語モデル (LLM) がますます採用されている。 本研究は,LLMを用いたドメイン適応MTについて,慎重なプロンプト設定により検討する。 実演は用語学を一貫して上回り、検索は生成を一貫して上回ります。
  論文  参考訳（メタデータ） (2025-03-06T22:23:07Z)
• Shh, don't say that! Domain Certification in LLMs [124.61851324874627]
  大きな言語モデル(LLM)は狭いドメインで制約されたタスクを実行するためにしばしばデプロイされる。 ドメイン認証は、言語モデルのドメイン外動作を正確に特徴付ける保証である。 次に, 逆境界を証明として提供するVALIDを, 単純かつ効果的なアプローチとして提案する。
  論文  参考訳（メタデータ） (2025-02-26T17:13:19Z)
• Can adversarial attacks by large language models be attributed? [1.3812010983144802]
  敵の設定における大規模言語モデルからのアウトプットの寄与は、重要度が増大する可能性が高い重要な課題を示す。 正規言語理論,特にゴールドが導入しアングルインが拡張した限界における言語識別を用いて,この帰属問題について検討する。 以上の結果から,特定の言語クラスの識別不可能性から,特定のLLMに出力を確実に属性付けることは理論的には不可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-12T18:28:57Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Beyond the Known: Investigating LLMs Performance on Out-of-Domain Intent Detection [34.135738700682055]
  本稿では,ChatGPTで表される大規模言語モデル(LLM)を包括的に評価する。 LLMには強力なゼロショット機能と少数ショット機能があるが、フルリソースで微調整されたモデルに比べれば依然として不利である。
  論文  参考訳（メタデータ） (2024-02-27T07:02:10Z)
• Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
  自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。 我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。 その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T16:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。