論文の概要: Zero-Shot Attribution for Large Language Models: A Distribution Testing Approach

• arxiv url: http://arxiv.org/abs/2506.20197v1
• Date: Wed, 25 Jun 2025 07:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.644657
• Title: Zero-Shot Attribution for Large Language Models: A Distribution Testing Approach
• Title（参考訳）: 大規模言語モデルに対するゼロショット属性:分散テストアプローチ
• Authors: Clément L. Canonne, Yash Pote, Uddalok Sarkar,
• Abstract要約: 仮説テストを用いて言語モデルが生成したコードを帰属させ、確立した手法と保証を活用するという課題について検討する。 分散テスト問題として属性をフレーム化するゼロショット属性ツールである$mathsfAnubis$を紹介した。
• 参考スコア（独自算出の注目度）: 19.455425068600665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A growing fraction of all code is sampled from Large Language Models (LLMs). We investigate the problem of attributing code generated by language models using hypothesis testing to leverage established techniques and guarantees. Given a set of samples $S$ and a suspect model $\mathcal{L}^*$, our goal is to assess the likelihood of $S$ originating from $\mathcal{L}^*$. Due to the curse of dimensionality, this is intractable when only samples from the LLM are given: to circumvent this, we use both samples and density estimates from the LLM, a form of access commonly available. We introduce $\mathsf{Anubis}$, a zero-shot attribution tool that frames attribution as a distribution testing problem. Our experiments on a benchmark of code samples show that $\mathsf{Anubis}$ achieves high AUROC scores ( $\ge0.9$) when distinguishing between LLMs like DeepSeek-Coder, CodeGemma, and Stable-Code using only $\approx 2000$ samples.
• Abstract（参考訳）: すべてのコードの増加分は、Large Language Models (LLMs) からサンプリングされる。 仮説テストを用いて言語モデルが生成したコードを帰属させ、確立した手法と保証を活用するという課題について検討する。 S$ と疑似モデル $\mathcal{L}^*$ が与えられた場合、我々の目標は $\mathcal{L}^*$ から生じる $S$ の確率を評価することである。 次元の呪いのため、このことは LLM のサンプルのみが与えられ、これを回避するために、一般的なアクセス形態である LLM のサンプルと密度推定の両方を用いる。 分散テスト問題として属性をフレーム化するゼロショット属性ツールである$\mathsf{Anubis}$を導入する。 コードサンプルのベンチマークでは、$\mathsf{Anubis}$がDeepSeek-Coder、CodeGemma、Stable-CodeのようなLLMを$\approx 2000$サンプルで区別する場合、高いAUROCスコア($\ge0.9$)を達成することが示されている。

関連論文リスト

• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルや制約に対して、後部ノイズ空間はデータ空間よりも滑らかであり、償却推論により適している。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• Some Notes on the Sample Complexity of Approximate Channel Simulation [2.4554686192257424]
  チャネルシミュレーションアルゴリズムは、所定のターゲット分布のランダムサンプルを$Q$で効率的にエンコードし、機械学習ベースの損失データ圧縮における応用を見つけることができる。 本稿では,固定ランタイムを用いた近似スキームについて考察する。 D_KL[Q Vert P] + o(1)) Big/epsilonbigのみのサンプル複雑さで、$mathrmTV[Q Vert P] leq epsilon$を確保し、最適な符号化性能を維持するために、グローバルバウンドの深度制限A*符号化を利用する。
  論文  参考訳（メタデータ） (2024-05-07T14:44:41Z)
• Testable Learning with Distribution Shift [9.036777309376697]
  分散シフトを伴うテスト可能学習と呼ばれる新しいモデルを定義する。 テスト分布上の分類器の性能を証明可能なアルゴリズムを得る。 ハーフスペースやハーフスペースの交点,決定木といった概念クラスを学ぶ上で,いくつかの肯定的な結果が得られる。
  論文  参考訳（メタデータ） (2023-11-25T23:57:45Z)
• Testing with Non-identically Distributed Samples [20.74768558932617]
  本研究では,サンプルが独立に分布するが同一に分布しない設定に対して,サブ線形サンプル特性試験と推定が適用範囲について検討する。 それぞれのディストリビューションから$Theta(k/varepsilon2)$サンプルをサンプリングしても、$textbfp_mathrmavg$は、テレビ距離で$textbfp_mathrmavg$をエラー$varepsilon$内で学習するのに十分である。
  論文  参考訳（メタデータ） (2023-11-19T01:25:50Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Tight Bounds on the Hardness of Learning Simple Nonparametric Mixtures [9.053430799456587]
  有限混合系における非パラメトリック分布の学習問題について検討する。 このようなモデルにおける成分分布を学習するために、サンプルの複雑さに厳密な境界を定めている。
  論文  参考訳（メタデータ） (2022-03-28T23:53:48Z)
• The Sample Complexity of Robust Covariance Testing [56.98280399449707]
  i. i. d. 形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。 汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。 サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
  論文  参考訳（メタデータ） (2020-12-31T18:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。