論文の概要: On the Trustworthiness of Generative Foundation Models: Guideline, Assessment, and Perspective

• arxiv url: http://arxiv.org/abs/2502.14296v1
• Date: Thu, 20 Feb 2025 06:20:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:46.923074
• Title: On the Trustworthiness of Generative Foundation Models: Guideline, Assessment, and Perspective
• Title（参考訳）: ジェネレーティブ・ファンデーション・モデルの信頼性について:ガイドライン・評価・展望
• Authors: Yue Huang, Chujie Gao, Siyuan Wu, Haoran Wang, Xiangqi Wang, Yujun Zhou, Yanbo Wang, Jiayi Ye, Jiawen Shi, Qihui Zhang, Yuan Li, Han Bao, Zhaoyi Liu, Tianrui Guan, Dongping Chen, Ruoxi Chen, Kehan Guo, Andy Zou, Bryan Hooi Kuen-Yew, Caiming Xiong, Elias Stengel-Eskin, Hongyang Zhang, Hongzhi Yin, Huan Zhang, Huaxiu Yao, Jaehong Yoon, Jieyu Zhang, Kai Shu, Kaijie Zhu, Ranjay Krishna, Swabha Swayamdipta, Taiwei Shi, Weijia Shi, Xiang Li, Yiwei Li, Yuexing Hao, Yuexing Hao, Zhihao Jia, Zhize Li, Xiuying Chen, Zhengzhong Tu, Xiyang Hu, Tianyi Zhou, Jieyu Zhao, Lichao Sun, Furong Huang, Or Cohen Sasson, Prasanna Sattigeri, Anka Reuel, Max Lamparth, Yue Zhao, Nouha Dziri, Yu Su, Huan Sun, Heng Ji, Chaowei Xiao, Mohit Bansal, Nitesh V. Chawla, Jian Pei, Jianfeng Gao, Michael Backes, Philip S. Yu, Neil Zhenqiang Gong, Pin-Yu Chen, Bo Li, Xiangliang Zhang,
• Abstract要約: Generative Foundation Models (GenFMs) がトランスフォーメーションツールとして登場した。 彼らの広く採用されていることは、次元の信頼に関する重要な懸念を提起する。 本稿では,3つの主要なコントリビューションを通じて,これらの課題に対処するための包括的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 314.7991906491166
• License:
• Abstract: Generative Foundation Models (GenFMs) have emerged as transformative tools. However, their widespread adoption raises critical concerns regarding trustworthiness across dimensions. This paper presents a comprehensive framework to address these challenges through three key contributions. First, we systematically review global AI governance laws and policies from governments and regulatory bodies, as well as industry practices and standards. Based on this analysis, we propose a set of guiding principles for GenFMs, developed through extensive multidisciplinary collaboration that integrates technical, ethical, legal, and societal perspectives. Second, we introduce TrustGen, the first dynamic benchmarking platform designed to evaluate trustworthiness across multiple dimensions and model types, including text-to-image, large language, and vision-language models. TrustGen leverages modular components--metadata curation, test case generation, and contextual variation--to enable adaptive and iterative assessments, overcoming the limitations of static evaluation methods. Using TrustGen, we reveal significant progress in trustworthiness while identifying persistent challenges. Finally, we provide an in-depth discussion of the challenges and future directions for trustworthy GenFMs, which reveals the complex, evolving nature of trustworthiness, highlighting the nuanced trade-offs between utility and trustworthiness, and consideration for various downstream applications, identifying persistent challenges and providing a strategic roadmap for future research. This work establishes a holistic framework for advancing trustworthiness in GenAI, paving the way for safer and more responsible integration of GenFMs into critical applications. To facilitate advancement in the community, we release the toolkit for dynamic evaluation.
• Abstract（参考訳）: Generative Foundation Models (GenFMs) がトランスフォーメーションツールとして登場した。 しかし、彼らの広く普及は、次元をまたいだ信頼に関する批判的な懸念を提起する。 本稿では,3つの主要なコントリビューションを通じて,これらの課題に対処するための包括的枠組みを提案する。 まず、私たちは、業界慣行や標準と同様に、政府や規制機関によるグローバルAIガバナンス法とポリシーを体系的にレビューします。 本分析に基づき, 技術的, 倫理的, 法的, 社会的視点を統合した多分野連携を通じて開発されたGenFMの指針のセットを提案する。 第2にTrustGenは,テキスト・ツー・イメージ,大規模言語,ビジョン言語モデルなど,複数の次元およびモデルタイプにわたる信頼性を評価するために設計された,最初の動的ベンチマークプラットフォームである。 TrustGenはモジュールコンポーネント – メタタキュレーション,テストケース生成,コンテキスト変動 – を活用して,静的評価メソッドの制限を克服し,適応的かつ反復的な評価を可能にする。 TrustGenを使用することで、永続的な課題を特定しながら、信頼性の大幅な進歩を明らかにします。 最後に、信頼に値するGenFMの課題と今後の方向性について、より深く議論し、信頼性の複雑で進化する性質を明らかにし、実用性と信頼の微妙なトレードオフを強調し、様々な下流アプリケーションについて考慮し、永続的な課題を特定し、将来の研究のための戦略的ロードマップを提供する。 この研究は、GenAIの信頼性向上のための総合的な枠組みを確立し、より安全で責任あるGenFMを重要なアプリケーションに統合するための道を開いた。 コミュニティの進展を促進するために,動的評価のためのツールキットをリリースする。

関連論文リスト

• Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
  Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
  論文  参考訳（メタデータ） (2025-02-08T06:50:47Z)
• Bridging the Gap in XAI-Why Reliable Metrics Matter for Explainability and Compliance [2.3020018305241337]
  この論文は、標準化された信頼性のあるメトリクスが欠如していることから、説明可能なAI(XAI)の評価における重要なギャップを強調している。 現在の評価手法は、しばしば断片化され、主観的、偏見的であり、複雑なモデルの評価を操作し複雑にする傾向がある。 我々は、堅牢で文脈に敏感な評価指標を開発するための広範な研究を提唱する。
  論文  参考訳（メタデータ） (2025-02-07T06:54:48Z)
• MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
  MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。 我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T08:38:13Z)
• Towards Trustworthy AI: A Review of Ethical and Robust Large Language Models [1.7466076090043157]
  大きな言語モデル(LLM)は多くの分野を変革できるが、その急速な開発は、監視、倫理的創造、ユーザ信頼の構築に重大な課題を生み出している。 この総合的なレビューは、意図しない害、透明性の欠如、攻撃に対する脆弱性、人的価値との整合性、環境への影響など、LLMにおける重要な信頼の問題について考察する。 これらの課題に対処するため、倫理的監視、業界説明責任、規制、公的な関与を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-06-01T14:47:58Z)
• Holistic Safety and Responsibility Evaluations of Advanced AI Models [18.34510620901674]
  高度なAIモデルの安全性と責任評価は、研究と実践の重要な分野である。 Google DeepMindの高度なAIモデルの開発において、安全評価に幅広いアプローチを革新し、適用しました。
  論文  参考訳（メタデータ） (2024-04-22T10:26:49Z)
• Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
  合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。 バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。 多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-21T09:03:18Z)
• KGTrust: Evaluating Trustworthiness of SIoT via Knowledge Enhanced Graph Neural Networks [63.531790269009704]
  ソーシャル・インターネット・オブ・モノ(Social Internet of Things, SIoT)は、スマート・オブジェクト(物)にソーシャルネットワークの概念を注入する、有望で新興のパラダイムである。 リスクと不確実性のため、解決すべき重要かつ緊急の問題は、SIoT内で信頼性の高い関係、すなわち信頼評価を確立することである。 本稿では,SIoTにおける信頼度向上のための知識強化グラフニューラルネットワーク(KGTrust)を提案する。
  論文  参考訳（メタデータ） (2023-02-22T14:24:45Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• A Survey on Uncertainty Toolkits for Deep Learning [3.113304966059062]
  ディープラーニング(DL)における不確実性推定のためのツールキットに関する第1回調査について述べる。 モデリングおよび評価能力に関する11のツールキットについて検討する。 最初の2つは、それぞれのフレームワークに大きな柔軟性とシームレスな統合を提供するが、最後の2つは、より大きな方法論的スコープを持っている。
  論文  参考訳（メタデータ） (2022-05-02T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。