論文の概要: Model Provenance Testing for Large Language Models

• arxiv url: http://arxiv.org/abs/2502.00706v1
• Date: Sun, 02 Feb 2025 07:39:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:58.296529
• Title: Model Provenance Testing for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのモデル前処理試験
• Authors: Ivica Nikolic, Teodora Baluta, Prateek Saxena,
• Abstract要約: あるモデルが別のモデルから派生しているかどうかをテストするためのフレームワークを開発します。 我々のアプローチは、実世界のモデル導出がモデル出力のかなりの類似性を保っているというキーとなる観察に基づいている。 モデルに対するブラックボックスアクセスのみを用いて、関係のないモデルによって確立されたベースラインとモデル類似性を比較するために、複数の仮説テストを用いる。
• 参考スコア（独自算出の注目度）: 14.949325775620439
• License:
• Abstract: Large language models are increasingly customized through fine-tuning and other adaptations, creating challenges in enforcing licensing terms and managing downstream impacts. Tracking model origins is crucial both for protecting intellectual property and for identifying derived models when biases or vulnerabilities are discovered in foundation models. We address this challenge by developing a framework for testing model provenance: Whether one model is derived from another. Our approach is based on the key observation that real-world model derivations preserve significant similarities in model outputs that can be detected through statistical analysis. Using only black-box access to models, we employ multiple hypothesis testing to compare model similarities against a baseline established by unrelated models. On two comprehensive real-world benchmarks spanning models from 30M to 4B parameters and comprising over 600 models, our tester achieves 90-95% precision and 80-90% recall in identifying derived models. These results demonstrate the viability of systematic provenance verification in production environments even when only API access is available.
• Abstract（参考訳）: 大規模な言語モデルは、微調整やその他の適応を通じて、ますますカスタマイズされ、ライセンス条項を強制し、下流への影響を管理する上での課題を生み出している。 モデルの起源を追跡することは、知的財産権の保護と、基礎モデルでバイアスや脆弱性が発見されたときに派生モデルを特定するために重要である。 この課題に対処するために、モデルの証明をテストするフレームワークを開発する。 提案手法は, 実世界のモデル導出が, 統計的解析によって検出できるモデル出力に有意な類似性を保っているというキー・オブザーバに基づいている。 モデルに対するブラックボックスアクセスのみを用いて、関係のないモデルによって確立されたベースラインとモデル類似性を比較するために、複数の仮説テストを用いる。 30Mから4Bのモデルにまたがる2つの総合的な実世界のベンチマークと600以上のモデルに対して, テスタは, 導出モデルの同定において90-95%の精度と80-90%のリコールを達成した。 これらの結果は,APIアクセスのみが利用可能である場合でも,本番環境での系統的証明が実現可能であることを示す。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
  我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。 本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
  論文  参考訳（メタデータ） (2024-08-14T13:01:30Z)
• Model Provenance via Model DNA [23.885185988451667]
  本稿では,機械学習モデルの特徴を表現した新しいモデルDNAについて紹介する。 本研究では,対象モデルの事前学習モデルであるかどうかを識別できるモデル証明同定のための効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-08-04T03:46:41Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• ModelDiff: Testing-Based DNN Similarity Comparison for Model Reuse Detection [9.106864924968251]
  ModelDiffは、ディープラーニングモデル類似性比較に対するテストベースのアプローチである。 モバイルディープラーニングアプリの研究は、現実世界のモデルにおけるModelDiffの可能性を示している。
  論文  参考訳（メタデータ） (2021-06-11T15:16:18Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Comparing hundreds of machine learning classifiers and discrete choice models in predicting travel behavior: an empirical benchmark [6.815730801645785]
  多くの研究は、旅行需要予測において機械学習(ML)と離散選択モデル(DCM)を比較してきた。 これらの研究は、文脈変動を考慮せずに決定論的にモデルを比較するため、一般化性に欠けることが多い。 このベンチマークでは、2つの大規模データソースを比較した。
  論文  参考訳（メタデータ） (2021-02-01T19:45:47Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。