論文の概要: Mapping the Trust Terrain: LLMs in Software Engineering -- Insights and Perspectives
- arxiv url: http://arxiv.org/abs/2503.13793v1
- Date: Tue, 18 Mar 2025 00:49:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:18:13.409312
- Title: Mapping the Trust Terrain: LLMs in Software Engineering -- Insights and Perspectives
- Title(参考訳): トラスト領域のマッピング: ソフトウェア工学におけるLLM -- 洞察と展望
- Authors: Dipin Khati, Yijin Liu, David N. Palacio, Yixuan Zhang, Denys Poshyvanyk,
- Abstract要約: 大規模言語モデル(LLM)の応用は、様々なソフトウェア工学(SE)タスクのための業界や学術分野で急速に成長しています。
これらのモデルがクリティカルなプロセスにとってより不可欠なものになると、信頼性と信頼性が不可欠になります。
SE における LLM の信頼関連概念の展望は比較的不明瞭であり、信頼、不信、信頼といった概念は明確な概念化を欠いている。
- 参考スコア(独自算出の注目度): 25.27634711529676
- License:
- Abstract: Applications of Large Language Models (LLMs) are rapidly growing in industry and academia for various software engineering (SE) tasks. As these models become more integral to critical processes, ensuring their reliability and trustworthiness becomes essential. Consequently, the concept of trust in these systems is becoming increasingly critical. Well-calibrated trust is important, as excessive trust can lead to security vulnerabilities, and risks, while insufficient trust can hinder innovation. However, the landscape of trust-related concepts in LLMs in SE is relatively unclear, with concepts such as trust, distrust, and trustworthiness lacking clear conceptualizations in the SE community. To bring clarity to the current research status and identify opportunities for future work, we conducted a comprehensive review of $88$ papers: a systematic literature review of $18$ papers focused on LLMs in SE, complemented by an analysis of 70 papers from broader trust literature. Additionally, we conducted a survey study with 25 domain experts to gain insights into practitioners' understanding of trust and identify gaps between existing literature and developers' perceptions. The result of our analysis serves as a roadmap that covers trust-related concepts in LLMs in SE and highlights areas for future exploration.
- Abstract(参考訳): 大規模言語モデル(LLM)の応用は、様々なソフトウェア工学(SE)タスクのための業界や学術分野で急速に成長しています。
これらのモデルがクリティカルなプロセスにとってより不可欠なものになると、信頼性と信頼性が不可欠になります。
その結果、これらのシステムに対する信頼の概念はますます批判的になりつつある。
過度な信頼はセキュリティ上の脆弱性やリスクにつながるが、信頼の欠如はイノベーションを妨げる。
しかし、SE における LLM の信頼関連概念の展望は比較的不明瞭であり、信頼、不信、信頼といった概念は SE コミュニティにおける明確な概念化を欠いている。
我々は,現在の研究状況に明確さをもたらし,今後の研究の機会を明らかにするため,より広範な信頼関係の文献から70の論文を分析した結果,SEにおけるLLMに焦点をあてた18ドルの論文の体系的な文献レビューを行い,80ドルの論文の総合的なレビューを行った。
さらに,25名のドメインエキスパートを対象に,実践者の信頼に対する理解と,既存の文献と開発者の認識とのギャップを把握するための調査を行った。
分析の結果は,SE における LLM の信頼関連概念を網羅するロードマップとして機能し,今後の探索の分野を強調している。
関連論文リスト
- Trust & Safety of LLMs and LLMs in Trust & Safety [0.0]
本稿では,大規模言語モデルにおける信頼と安全性に関する現在の研究状況について考察する。
信頼性と安全性が最優先の領域におけるLCMの利用の複雑さを掘り下げる。
このレビューでは、信頼と安全においてLLMを使用するためのベストプラクティスに関する洞察を提供し、迅速な注入や脱獄攻撃といった新たなリスクについて調査する。
論文 参考訳(メタデータ) (2024-12-03T03:10:12Z) - How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency [60.25969380388974]
大規模言語モデル (LLM) は知識ベース (KB) として研究されている。
現在の評価手法は、信頼性の高い性能の他の決定的な基準を見越して、知識の保持に過度に焦点を絞っている。
我々は,事実と一貫性を定量化するための新しい基準と指標を提案し,最終的な信頼性スコアを導いた。
論文 参考訳(メタデータ) (2024-07-18T15:20:18Z) - MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。
我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。
21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
論文 参考訳(メタデータ) (2024-06-11T08:38:13Z) - TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。
本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
論文 参考訳(メタデータ) (2024-02-19T21:12:14Z) - TrustLLM: Trustworthiness in Large Language Models [446.5640421311468]
本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。
まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。
これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
論文 参考訳(メタデータ) (2024-01-10T22:07:21Z) - Trustworthy Federated Learning: A Survey [0.5089078998562185]
人工知能(AI)分野において、フェデレートラーニング(FL)が大きな進歩を遂げている。
我々は、Trustworthy FLの現状を概観し、既存のソリューションとTrustworthyに関連する明確に定義された柱を探求する。
本稿では,解釈可能性,公正性,セキュリティとプライバシの3つの柱を含む分類法を提案する。
論文 参考訳(メタデータ) (2023-05-19T09:11:26Z) - Insights into Fairness through Trust: Multi-scale Trust Quantification
for Financial Deep Learning [94.65749466106664]
金融深層学習において探求されていない公平性の基本的な側面は、信頼の概念である。
クレジットカードのデフォルト予測のために,ディープニューラルネットワーク上でマルチスケール信頼度定量化を行う。
論文 参考訳(メタデータ) (2020-11-03T19:05:07Z) - Where Does Trust Break Down? A Quantitative Trust Analysis of Deep
Neural Networks via Trust Matrix and Conditional Trust Densities [94.65749466106664]
本稿では,新しい信頼量化戦略である信頼行列の概念を紹介する。
信頼行列は、所定のアクター・オークル回答シナリオに対して期待される質問・回答信頼を定義する。
我々は、条件付き信頼密度の概念により、信頼密度の概念をさらに拡張する。
論文 参考訳(メタデータ) (2020-09-30T14:33:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。