論文の概要: Towards Trustworthy LLMs for Code: A Data-Centric Synergistic Auditing Framework

• arxiv url: http://arxiv.org/abs/2410.09048v1
• Date: Fri, 11 Oct 2024 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:58:09.759242
• Title: Towards Trustworthy LLMs for Code: A Data-Centric Synergistic Auditing Framework
• Title（参考訳）: コードのための信頼できるLCMを目指して - データ中心の総合的監査フレームワーク
• Authors: Chong Wang, Zhenpeng Chen, Tianlin Li, Yilun Zhao, Yang Liu,
• Abstract要約: DataTrustは、モデル信頼性指標とトレーニングにおけるデータ品質指標を結びつけることを目的としている。 さまざまな利害関係者がDataTrustから得られるメリットを概説する。
• 参考スコア（独自算出の注目度）: 17.28704707854609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-powered coding and development assistants have become prevalent to programmers' workflows. However, concerns about the trustworthiness of LLMs for code persist despite their widespread use. Much of the existing research focused on either training or evaluation, raising questions about whether stakeholders in training and evaluation align in their understanding of model trustworthiness and whether they can move toward a unified direction. In this paper, we propose a vision for a unified trustworthiness auditing framework, DataTrust, which adopts a data-centric approach that synergistically emphasizes both training and evaluation data and their correlations. DataTrust aims to connect model trustworthiness indicators in evaluation with data quality indicators in training. It autonomously inspects training data and evaluates model trustworthiness using synthesized data, attributing potential causes from specific evaluation data to corresponding training data and refining indicator connections. Additionally, a trustworthiness arena powered by DataTrust will engage crowdsourced input and deliver quantitative outcomes. We outline the benefits that various stakeholders can gain from DataTrust and discuss the challenges and opportunities it presents.
• Abstract（参考訳）: LLMを利用したコーディングと開発アシスタントはプログラマのワークフローに広く普及している。 しかし、LLMのコードに対する信頼性に関する懸念は、広く使われているにもかかわらず継続している。 既存の研究の多くは、トレーニングまたは評価に重点を置いており、トレーニングや評価のステークホルダーがモデルの信頼性を理解し、統一された方向へ進むことができるかどうかという疑問を提起している。 本稿では,トレーニングデータと評価データと相関性の両方を相乗的に強調するデータ中心型アプローチを採用した信頼性監査フレームワークDataTrustのビジョンを提案する。 DataTrustは、モデル信頼性指標とトレーニングにおけるデータ品質指標を結びつけることを目的としている。 学習データを自律的に検査し、合成データを用いてモデル信頼性を評価し、特定の評価データから潜在的な原因を対応するトレーニングデータに関連付け、インジケータ接続を精査する。 さらに、DataTrustを利用する信頼性アリーナは、クラウドソーシングされた入力に関わり、定量的な結果をもたらす。 さまざまな利害関係者がDataTrustから得られるメリットを概説し、それがもたらす課題と機会について議論する。

関連論文リスト

• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• IoT Data Trust Evaluation via Machine Learning [4.0116218566600566]
  本稿では,不信なデータを合成することによってIoT時系列データセットを増大させる,ランダムウォークインフィル(RWI)と呼ばれるデータ合成手法を提案する。 また、IoT時系列センサデータから新機能を抽出し、自動相関を効果的に取得する。 これらの機能は、IoTセンサーデータの信頼性を認識するためのMLモデルを学ぶために使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T05:44:01Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)
• Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
  合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。 バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。 多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-21T09:03:18Z)
• FederatedTrust: A Solution for Trustworthy Federated Learning [3.202927443898192]
  IoT(Internet of Things)の急速な拡張により、中央集権型機械学習(ML/DL)メソッドの課題が提示された。 データプライバシに関する懸念に対処するため、フェデレートラーニング(FL)のような、協調的でプライバシ保護のML/DL技術が登場した。
  論文  参考訳（メタデータ） (2023-02-20T09:02:24Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• A Sentiment Analysis Dataset for Trustworthiness Evaluation [22.734197353027632]
  深層学習モデルはブラックボックス問題のために信頼できないとしばしば批判される。 我々は、頑健さと解釈可能性を評価するために、新しくよく注釈付けされた感情分析データセットをリリースする。
  論文  参考訳（メタデータ） (2021-08-30T11:58:16Z)
• A Principled Approach to Data Valuation for Federated Learning [73.19984041333599]
  フェデレートラーニング(FL)は、分散データソース上で機械学習(ML)モデルをトレーニングする一般的なテクニックである。 Shapley value (SV) はデータ値の概念として多くのデシラタを満たすユニークなペイオフスキームを定義する。 本稿では,FL に対応する SV の変種を提案する。
  論文  参考訳（メタデータ） (2020-09-14T04:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。