論文の概要: SafeLLM: Domain-Specific Safety Monitoring for Large Language Models: A Case Study of Offshore Wind Maintenance

• arxiv url: http://arxiv.org/abs/2410.10852v1
• Date: Sun, 06 Oct 2024 13:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:35.343142
• Title: SafeLLM: Domain-Specific Safety Monitoring for Large Language Models: A Case Study of Offshore Wind Maintenance
• Title（参考訳）: SafeLLM:大規模言語モデルのドメイン特有な安全モニタリング:オフショア風の保守を事例として
• Authors: Connor Walker, Callum Rothon, Koorosh Aslansefat, Yiannis Papadopoulos, Nina Dethlefs,
• Abstract要約: 本稿では,Large Language Models (LLMs) に着目して,この課題に対処する革新的なアプローチを提案する。 本稿では,幻覚の検出とフィルタリングのための文間距離を統計的に計算するための対話エージェントを提案する。
• 参考スコア（独自算出の注目度）: 0.6116681488656472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Offshore Wind (OSW) industry is experiencing significant expansion, resulting in increased Operations \& Maintenance (O\&M) costs. Intelligent alarm systems offer the prospect of swift detection of component failures and process anomalies, enabling timely and precise interventions that could yield reductions in resource expenditure, as well as scheduled and unscheduled downtime. This paper introduces an innovative approach to tackle this challenge by capitalising on Large Language Models (LLMs). We present a specialised conversational agent that incorporates statistical techniques to calculate distances between sentences for the detection and filtering of hallucinations and unsafe output. This potentially enables improved interpretation of alarm sequences and the generation of safer repair action recommendations by the agent. Preliminary findings are presented with the approach applied to ChatGPT-4 generated test sentences. The limitation of using ChatGPT-4 and the potential for enhancement of this agent through re-training with specialised OSW datasets are discussed.
• Abstract（参考訳）: オフショア・ウィンド(OSW)産業は大幅に拡大しており、オペレーティング・アンド・メンテナンス(O\&M)コストが増大している。 インテリジェントアラームシステムは、コンポーネントの障害やプロセスの異常を迅速に検出し、リソース支出の削減やスケジュールや予定外のダウンタイムをもたらす可能性のある、タイムリーで正確な介入を可能にする。 本稿では,Large Language Models (LLMs) を用いて,この課題に対処する革新的なアプローチを提案する。 本稿では,幻覚の検出とフィルタリングのための文間距離を統計的に計算するための対話エージェントを提案する。 これにより、アラームシーケンスの解釈が改善され、エージェントによるより安全な修復アクションレコメンデーションが生成される可能性がある。 ChatGPT-4 生成試験文に適用し,予備的な知見を得た。 本稿では、ChatGPT-4の使用制限と、OSWデータセットによる再トレーニングによるエージェントの強化の可能性について論じる。

関連論文リスト

• Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
  時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。 本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。 具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。 人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2026-02-10T10:16:27Z)
• Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts [51.37000123503367]
  予測駆動型リスクモニタリング(PPRM)を提案する。 PPRMは、合成ラベルを真のラベルの小さなセットと組み合わせることで、ランニングリスクの任意の有意な下界を構築する。 本稿では,画像分類,大規模言語モデル(LLM),通信監視タスクの広範な実験を通じて,PPRMの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-02T15:32:14Z)
• SAFE-QAQ: End-to-End Slow-Thinking Audio-Text Fraud Detection via Reinforcement Learning [52.29460857893198]
  既存の不正検出方法は、書き起こされたテキストに依存しており、ASRのエラーや、声調や環境条件のような重要な音響的手がかりが欠けている。 音声に基づくスロー思考詐欺検出のためのエンドツーエンド包括的フレームワークSAFE-QAQを提案する。 本フレームワークは,ライブコール中に動的リスクアセスメントフレームワークを導入し,不正の早期検出と防止を可能にする。
  論文  参考訳（メタデータ） (2026-01-04T06:09:07Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Interpretable Anomaly-Based DDoS Detection in AI-RAN with XAI and LLMs [19.265893691825234]
  次世代無線アクセスネットワーク(RAN)は、インテリジェントコントローラを通じてプログラム可能性、インテリジェンス、およびほぼリアルタイム制御を導入する。 本稿では,Large Language Models (LLMs) による将来のRAN環境に対する XAI 侵入検知(IDS) の機会,課題,研究ギャップを概説する。
  論文  参考訳（メタデータ） (2025-07-27T22:16:09Z)
• Detection Method for Prompt Injection by Integrating Pre-trained Model and Heuristic Feature Engineering [3.0823377252469144]
  即時注射攻撃は 重大な セキュリティ上の脅威として現れました 既存の防御機構は、有効性と一般化性の間のトレードオフに直面している。 本稿では,デュアルチャネル機能融合検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-05T06:01:19Z)
• CoTGuard: Using Chain-of-Thought Triggering for Copyright Protection in Multi-Agent LLM Systems [55.57181090183713]
  我々は、Chain-of-Thought推論内でトリガーベースの検出を活用する著作権保護のための新しいフレームワークであるCoTGuardを紹介する。 具体的には、特定のCoTセグメントをアクティベートし、特定のトリガクエリをエージェントプロンプトに埋め込むことで、未許可コンテンツ再生の中間的推論ステップを監視する。 このアプローチは、協調エージェントシナリオにおける著作権侵害の微細かつ解釈可能な検出を可能にする。
  論文  参考訳（メタデータ） (2025-05-26T01:42:37Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics [5.384257830522198]
  重要なアプリケーションにおける大規模言語モデル(LLM)は、重大な信頼性とセキュリティリスクを導入している。 これらの脆弱性は悪意あるアクターによって武器化され、不正アクセス、広範囲にわたる誤報、システムの完全性を侵害した。 本研究では,LLMの異常な挙動を隠蔽法で検出する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T05:58:14Z)
• Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
  低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。 タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。 また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
  論文  参考訳（メタデータ） (2024-12-30T13:12:27Z)
• Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
  オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。 モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。 実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
  論文  参考訳（メタデータ） (2024-12-05T18:58:27Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection [34.40206965758026]
  時系列異常検出(TSAD)は、標準トレンドから逸脱する非定型パターンを特定することで、様々な産業において重要な役割を果たす。 従来のTSADモデルは、しばしばディープラーニングに依存しており、広範なトレーニングデータを必要とし、ブラックボックスとして動作する。 LLMADは,Large Language Models (LLMs) を用いて,高精度かつ解釈可能なTSAD結果を提供する新しいTSAD手法である。
  論文  参考訳（メタデータ） (2024-05-24T09:07:02Z)
• DetToolChain: A New Prompting Paradigm to Unleash Detection Ability of MLLM [81.75988648572347]
  DetToolChainはマルチモーダル大言語モデル(MLLM)のゼロショットオブジェクト検出能力を解き放つ新しいパラダイムである。 提案手法は,高精度検出にヒントを得た検出プロンプトツールキットと,これらのプロンプトを実装するための新しいChain-of-Thoughtから構成される。 DetToolChainを用いたGPT-4Vは,オープン語彙検出のための新しいクラスセットにおいて,最先端のオブジェクト検出器を+21.5%AP50で改善することを示す。
  論文  参考訳（メタデータ） (2024-03-19T06:54:33Z)
• Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations [76.19419888353586]
  大規模言語モデル(LLM)は、不誠実なアウトプットからバイアスや有害な世代に至るまで、さまざまなリスクを受けやすい。 我々は,様々な害のラベルを提供するコンパクトで容易に構築できる分類モデルである,検出器のライブラリを作成し,展開する取り組みについて述べる。
  論文  参考訳（メタデータ） (2024-03-09T21:07:16Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• SMARLA: A Safety Monitoring Approach for Deep Reinforcement Learning Agents [7.33319373357049]
  本稿では,Deep Reinforcement Learning (DRL)エージェント用に特別に設計されたブラックボックス安全監視手法SMARLAを紹介する。 SMARLAは機械学習を利用して、実行中のエージェントの動作を観察し、安全違反を予測する。 実験の結果、SMARLAは偽陽性率の低い安全違反を予測するのに正確であり、違反が起こる前にエージェントの実行の途中で早期に違反を予測することができることが明らかになった。
  論文  参考訳（メタデータ） (2023-08-03T21:08:51Z)
• A Deep Learning Framework for Wind Turbine Repair Action Prediction Using Alarm Sequences and Long Short Term Memory Algorithms [1.2599533416395765]
  コンディションベースの監視(CBM)は、近年のアラームベースのシステムとデータ駆動意思決定の研究の最前線にある。 本稿では,長短期記憶(LSTM)モデルと双方向LSTMモデルを比較し,アラームシーケンスの入力シーケンスから関連する修復動作のセットを予測する新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2022-07-19T12:11:06Z)
• Semi-Supervised Temporal Action Detection with Proposal-Free Masking [134.26292288193298]
  PropOsal-free Temporal mask (SPOT) に基づく新しい半教師付き時間行動検出モデルを提案する。 SPOTは最先端の代替品よりも優れている。
  論文  参考訳（メタデータ） (2022-07-14T16:58:47Z)
• Efficient Attention Branch Network with Combined Loss Function for Automatic Speaker Verification Spoof Detection [7.219077740523682]
  自動話者検証(Automatic Speaker Verification)のタスクのために現在デプロイされているモデルは、その最善は、目に見えない攻撃に対して適切な一般化の度合いを欠いていることである。 本研究では、一般化問題に対処するために、損失関数を組み合わせた効率的な注意分岐ネットワーク(EABN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-05T12:10:16Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Anomaly detection with superexperts under delayed feedback [1.3960152426268768]
  本稿では,教師なし異常検出アルゴリズムを集約する新しい手法を提案する。 専門家と呼ばれるモデルを集約し、フィードバックを取り入れることで、パフォーマンスが大幅に向上することを示す。 提案手法の重要な特性は、それらの理論的な保証が最高の超専門家に近く実行されることである。
  論文  参考訳（メタデータ） (2020-10-08T09:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。