論文の概要: How do practitioners gain confidence in assurance cases?

• arxiv url: http://arxiv.org/abs/2411.03657v1
• Date: Wed, 06 Nov 2024 04:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:13.496815
• Title: How do practitioners gain confidence in assurance cases?
• Title（参考訳）: 実践者はいかにして保証事例に自信を得るのか?
• Authors: Simon Diemert, Caleb Shortt, Jens H. Weber,
• Abstract要約: 保証ケース(AC)は、システムの望ましい品質特性が満足していると主張する。 多くの信頼度評価法 (CAM) が存在するが、これらの手法の実際についてはほとんど分かっていない。 本研究の目的は、交流信頼度評価の実践状況と、その利用にどのような障壁が存在するかを理解することである。
• 参考スコア（独自算出の注目度）: 0.5735035463793008
• License:
• Abstract: CONTEXT: Assurance Cases (ACs) are prepared to argue that the system's desired quality attributes (e.g., safety or security) are satisfied. While there is strong adoption of ACs, practitioners are often left asking an important question: are we confident that the claims made by the case are true? While many confidence assessment methods (CAMs) exist, little is known about the use of these methods in practice OBJECTIVE: Develop an understanding of the current state of practice for AC confidence assessment: what methods are used in practice and what barriers exist for their use? METHOD: Structured interviews were performed with practitioners with experience contributing to real-world ACs. Open-coding was performed on transcripts. A description of the current state of AC practice and future considerations for researchers was synthesized from the results. RESULTS: A total of n = 19 practitioners were interviewed. The most common CAMs were (peer-)review of ACs, dialectic reasoning ("defeaters"), and comparing against checklists. Participants preferred qualitative methods and expressed concerns about quantitative CAMs. Barriers to using CAMs included additional work, inadequate guidance, subjectivity and interpretation of results, and trustworthiness of methods. CONCLUSION: While many CAMs are described in the literature there is a gap between the proposed methods and needs of practitioners. Researchers working in this area should consider the need to: connect CAMs to established practices, use CAMs to communicate with interest holders, crystallize the details of CAM application, curate accessible guidance, and confirm that methods are trustworthy.
• Abstract（参考訳）: CONTEXT: 保証ケース(AC)は、システムの望ましい品質特性(例えば、安全性やセキュリティ)が満足していると主張する準備ができています。 ACが強く採用されている一方で、実践者は重要な質問をされることがしばしばある。 多くの信頼度評価方法(CAM)が存在するが、これらの手法の実践についてはほとんど分かっていない。 方法:実世界のACに貢献した経験のある実践者を対象に,構造化インタビューを行った。 オープンコーディングは書き起こしで行なわれた。 この結果から,AC実践の現状と今後の研究者への配慮を考察した。 結果:n = 19の実践者がインタビューを受けた。 最も一般的なCAMは、ACのレビュー(peer-)、弁証的推論(defeaters)、チェックリストの比較である。 参加者は質的手法を好み、量的CAMに関する懸念を表明した。 CAMを使用するための障壁には、追加の作業、ガイダンスの不十分、主観性と結果の解釈、メソッドの信頼性などが含まれていた。 結論:多くのCAMが文献で説明されているが,提案手法と実践者のニーズとの間にはギャップがある。 確立したプラクティスにCAMを接続し、利害関係者と通信するためにCAMを使用し、CAMアプリケーションの詳細を結晶化し、アクセス可能なガイダンスをキュレートし、メソッドが信頼できることを確認する。

関連論文リスト

• On the Rationale and Use of Assertion Messages in Test Code: Insights from Software Practitioners [10.264620067797798]
  単体テストは、一連のテストケースを通じてその振る舞いを検証することによって、ソフトウェアシステムの品質を保証するための重要なプラクティスである。 これらのテストケースの中核となるのはアサーションステートメントであり、それによってソフトウェア実践者がシステムの振る舞いの正しさを検証することができる。 テストケース障害の理解とトラブルシューティングを支援するため、実践者はアサーションステートメントにメッセージ(すなわちアサーションメッセージ)を含めることができる。
  論文  参考訳（メタデータ） (2024-08-03T11:13:36Z)
• Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators [6.403926452181712]
  大規模言語モデル(LLM)は、その答えの事実において信頼できない傾向にある。 本稿では,事実信頼度の推定者の調査と実証的比較について述べる。 実験により, 訓練された隠れ状態プローブが最も信頼性の高い信頼度を推定できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T10:11:37Z)
• Longitudinal Counterfactuals: Constraints and Opportunities [59.11233767208572]
  本稿では,反ファクトの妥当性を評価・改善するために,縦断データを用いた手法を提案する。 本研究では, 縦差と反実差を比較する指標を開発し, 先行観測した変化と反実差の類似性を評価する。
  論文  参考訳（メタデータ） (2024-02-29T20:17:08Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• How Reliable Are Automatic Evaluation Methods for Instruction-Tuned LLMs? [3.1706553206969925]
  このような手法のメタ評価を行い、その信頼性を幅広いタスクにわたって評価する。 自動評価手法は、特定の条件下で人間の評価を近似することができるが、その妥当性は文脈に依存している。 本研究は,命令調整型LLMの開発と評価において,自動手法の適用方法や解釈方法の理解を深めるものである。
  論文  参考訳（メタデータ） (2024-02-16T15:48:33Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• Cross-modal Active Complementary Learning with Self-refining Correspondence [54.61307946222386]
  既存手法のロバスト性を改善するために,クロスモーダルなロバスト補完学習フレームワーク(CRCL)を提案する。 ACLは、誤った監視を行うリスクを減らすために、アクティブで補完的な学習損失を利用する。 SCCは、モーメント補正を備えた複数の自己精製プロセスを使用して、対応を補正するために受容場を拡大する。
  論文  参考訳（メタデータ） (2023-10-26T15:15:11Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• Evaluating Perceived Usefulness and Ease of Use of CMMN and DCR [3.3504365823045035]
  本研究では,プロセス設計者がケースマネジメントモデルと表記法(CMMN)と動的条件応答(DCR)の有用性と使いやすさについて検討する。 この研究は、これらの言語を8週間にわたってマスターレベルの学生に教育し、課題に対するフィードバックを与えることによって行われる。 その結果、十分なトレーニングを受けながら、フィードバックを受け取ることで、参加者の認識がどのように変化するかが示される。
  論文  参考訳（メタデータ） (2021-03-20T17:57:19Z)
• Advances and Challenges in Conversational Recommender Systems: A Survey [133.93908165922804]
  現在の会話レコメンダーシステム(CRS)で使用されるテクニックの体系的なレビューを提供します。 CRS開発の主な課題を5つの方向にまとめます。 これらの研究の方向性は、情報検索(IR)、自然言語処理(NLP)、人間とコンピュータの相互作用(HCI)などの複数の研究分野を含みます。
  論文  参考訳（メタデータ） (2021-01-23T08:53:15Z)
• Assessing Safety-Critical Systems from Operational Testing: A Study on Autonomous Vehicles [3.629865579485447]
  安全クリティカルシステム(SCS)の信頼性と安全性の実証は依然として難しい問題である。 我々は、信頼性を示す問題を再考するために、現在の例として自律走行車(AV)を使用します。
  論文  参考訳（メタデータ） (2020-08-19T19:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。