論文の概要: Towards Trustworthy LLMs for Code: A Data-Centric Synergistic Auditing Framework

• arxiv url: http://arxiv.org/abs/2410.09048v2
• Date: Sun, 15 Dec 2024 14:37:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 15:49:59.026369
• Title: Towards Trustworthy LLMs for Code: A Data-Centric Synergistic Auditing Framework
• Title（参考訳）: コードのための信頼できるLCMを目指して - データ中心の総合的監査フレームワーク
• Authors: Chong Wang, Zhenpeng Chen, Tianlin Li, Yilun Zhao, Yang Liu,
• Abstract要約: DataTrustは、モデル信頼性指標とトレーニングにおけるデータ品質指標を結びつけることを目的としている。 さまざまな利害関係者がDataTrustから得られるメリットを概説する。
• 参考スコア（独自算出の注目度）: 17.28704707854609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-powered coding and development assistants have become prevalent to programmers' workflows. However, concerns about the trustworthiness of LLMs for code persist despite their widespread use. Much of the existing research focused on either training or evaluation, raising questions about whether stakeholders in training and evaluation align in their understanding of model trustworthiness and whether they can move toward a unified direction. In this paper, we propose a vision for a unified trustworthiness auditing framework, DataTrust, which adopts a data-centric approach that synergistically emphasizes both training and evaluation data and their correlations. DataTrust aims to connect model trustworthiness indicators in evaluation with data quality indicators in training. It autonomously inspects training data and evaluates model trustworthiness using synthesized data, attributing potential causes from specific evaluation data to corresponding training data and refining indicator connections. Additionally, a trustworthiness arena powered by DataTrust will engage crowdsourced input and deliver quantitative outcomes. We outline the benefits that various stakeholders can gain from DataTrust and discuss the challenges and opportunities it presents.
• Abstract（参考訳）: LLMを利用したコーディングと開発アシスタントはプログラマのワークフローに広く普及している。 しかし、LLMのコードに対する信頼性に関する懸念は、広く使われているにもかかわらず継続している。 既存の研究の多くは、トレーニングまたは評価に重点を置いており、トレーニングや評価のステークホルダーがモデルの信頼性を理解し、統一された方向へ進むことができるかどうかという疑問を提起している。 本稿では,トレーニングデータと評価データと相関性の両方を相乗的に強調するデータ中心型アプローチを採用した信頼性監査フレームワークDataTrustのビジョンを提案する。 DataTrustは、モデル信頼性指標とトレーニングにおけるデータ品質指標を結びつけることを目的としている。 学習データを自律的に検査し、合成データを用いてモデル信頼性を評価し、特定の評価データから潜在的な原因を対応するトレーニングデータに関連付け、インジケータ接続を精査する。 さらに、DataTrustを利用する信頼性アリーナは、クラウドソーシングされた入力に関わり、定量的な結果をもたらす。 さまざまな利害関係者がDataTrustから得られるメリットを概説し、それがもたらす課題と機会について議論する。

関連論文リスト

• Epistemic Context Learning: Building Trust the Right Way in LLM-Based Multi-Agent Systems [94.9141394384021]
  マルチエージェントシステムの個々のエージェントは、しばしば堅牢性を欠き、誤解を招く仲間に盲目的に適合する傾向にある。 この弱点は, 相互信頼度を評価する能力の欠如に起因していると考えられる。 まず,歴史認識参照の学習問題を定式化し,ピア間の歴史的相互作用を付加的な入力として導入する。 次に,歴史的に構築されたピアプロファイルの予測を行うための推論フレームワークであるEcestemic Context Learning (ECL) を開発した。
  論文  参考訳（メタデータ） (2026-01-29T13:59:32Z)
• Reliable and Reproducible Demographic Inference for Fairness in Face Analysis [63.46525489354455]
  本稿では、従来のエンドツーエンドトレーニングをモジュラートランスファー学習アプローチで置き換える、完全に再現可能なDAIパイプラインを提案する。 このパイプラインは、正確性、公正性、そしてアイデンティティ内整合性によって定義される、新たに導入された堅牢性の概念の3つの次元にわたって監査する。 以上の結果から,提案手法は特に民族性において,強い基準線を上回り,その特性はより困難であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-23T12:22:02Z)
• Assessing Trustworthiness of AI Training Dataset using Subjective Logic -- A Use Case on Bias [5.919780779766899]
  本稿では,AIトレーニングデータセットの信頼性を評価するための最初の公式フレームワークを紹介する。 バイアスの信頼性に関するこの枠組みをインスタンス化し,交通標識認識データセットに基づいて実験的に評価する。
  論文  参考訳（メタデータ） (2025-08-19T13:17:41Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Targeted Learning for Data Fairness [52.59573714151884]
  データ生成プロセス自体の公平性を評価することにより、公平性推論を拡張する。 我々は、人口統計学的平等、平等機会、条件付き相互情報から推定する。 提案手法を検証するため,いくつかのシミュレーションを行い,実データに適用する。
  論文  参考訳（メタデータ） (2025-02-06T18:51:28Z)
• More RLHF, More Trust? On The Impact of Preference Alignment On Trustworthiness [24.843692458375436]
  本研究では,5つの信頼性分野において,汎用的嗜好データに整合したモデルがどのように機能するかを検討する。 ヒトの嗜好に対するRLHFは、自動的に信頼性を保証せず、しばしば逆効果が観察される。 本稿では,RLHF設定に効率的な影響関数に基づくデータ帰属手法を適用し,個々の信頼性ベンチマークに対する微調整データの影響をよりよく理解するために提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:00:53Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• IoT Data Trust Evaluation via Machine Learning [4.0116218566600566]
  本稿では,不信なデータを合成することによってIoT時系列データセットを増大させる,ランダムウォークインフィル(RWI)と呼ばれるデータ合成手法を提案する。 また、IoT時系列センサデータから新機能を抽出し、自動相関を効果的に取得する。 これらの機能は、IoTセンサーデータの信頼性を認識するためのMLモデルを学ぶために使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T05:44:01Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)
• Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
  合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。 バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。 多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-21T09:03:18Z)
• FederatedTrust: A Solution for Trustworthy Federated Learning [3.202927443898192]
  IoT(Internet of Things)の急速な拡張により、中央集権型機械学習(ML/DL)メソッドの課題が提示された。 データプライバシに関する懸念に対処するため、フェデレートラーニング(FL)のような、協調的でプライバシ保護のML/DL技術が登場した。
  論文  参考訳（メタデータ） (2023-02-20T09:02:24Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• A Sentiment Analysis Dataset for Trustworthiness Evaluation [22.734197353027632]
  深層学習モデルはブラックボックス問題のために信頼できないとしばしば批判される。 我々は、頑健さと解釈可能性を評価するために、新しくよく注釈付けされた感情分析データセットをリリースする。
  論文  参考訳（メタデータ） (2021-08-30T11:58:16Z)
• A Principled Approach to Data Valuation for Federated Learning [73.19984041333599]
  フェデレートラーニング(FL)は、分散データソース上で機械学習(ML)モデルをトレーニングする一般的なテクニックである。 Shapley value (SV) はデータ値の概念として多くのデシラタを満たすユニークなペイオフスキームを定義する。 本稿では,FL に対応する SV の変種を提案する。
  論文  参考訳（メタデータ） (2020-09-14T04:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。