論文の概要: Embedded Conditional Independence Tests for Large Language Model Generated Text with an Application to German Parliament Speeches
- arxiv url: http://arxiv.org/abs/2609.00946v1
- Date: Tue, 01 Sep 2026 09:05:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.490133
- Title: Embedded Conditional Independence Tests for Large Language Model Generated Text with an Application to German Parliament Speeches
- Title（参考訳）: 大規模言語モデル生成テキストの組込み条件独立テストとドイツ議会演説への応用
- Authors: Marco Simnacher, Georg Keilbar, Benjamin König, Christoph Lippert, Sonja Greven,
- Abstract要約: 条件独立テスト(CIT)は、2つのランダムオブジェクト間の条件依存をテストし、$X$と$Y$は3番目のランダムオブジェクト$Z$である。
このようなテストは、大言語モデル(LLM)の出力に関心があることを示し、そこでは、ソーステキスト$Z$から生成された$X$が、$Z$自身を超えて$Y$に関する情報を運ぶかどうかをテストする。
我々は、$X$と$Z$を埋め込んだ組み込みCIT(eCIT)を提案し、その結果の表現に既存のCITを適用し、$Y$にします。
- 参考スコア（独自算出の注目度）: 6.101147059478932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conditional independence tests (CITs) test for conditional dependence between two random objects $X$ and $Y$ given a third random object $Z$. Existing CITs have limited applicability to high-dimensional data, especially multimodal data like text. However, we show that such tests are of interest for large language model (LLM) outputs, where we test whether an output $X$ generated from a source text $Z$ carries information about an attribute $Y$ beyond $Z$ itself. For this purpose, we propose embedded CITs (eCITs), which embed $X$ and $Z$ and apply an existing CIT to the resulting representations and to $Y$. We show that, provided the embedding of $Z$ is sufficient, i.e. retains the information $Z$ carries about either $Y$ or the representation of $X$, the null hypothesis transfers from $X$ and $Z$ to their representations, so that a CIT valid for the embedded hypothesis is valid for the original one. We further give conditions for equivalence of the two hypotheses, and show that sufficiency weakens to mean sufficiency when the embedded test targets conditional mean independence. We propose a semi-synthetic simulation design to assess type I error (T1E) control and power of the eCITs for given embedding maps on a specific dataset and task, and use it to evaluate them on our application. Applying the eCITs to German Parliament speeches, we find for all combinations of embedding maps considered that the summaries of two LLMs contain information about the speaker's faction and gender beyond the speech they were generated from.
- Abstract（参考訳）: 条件独立テスト(CIT)は、2つのランダムオブジェクト間の条件依存をテストし、$X$と$Y$は3番目のランダムオブジェクト$Z$である。
既存のCITは高次元データ、特にテキストのようなマルチモーダルデータに適用性に制限がある。
しかし、そのようなテストは、大言語モデル(LLM)の出力に非常に興味があることを示し、そこでは、ソーステキスト$Z$から生成された出力$X$が、$Z$自身を超えて$Y$に関する情報を運ぶかどうかをテストする。
この目的のために、埋め込みCIT(eCIT)を提案します。これは$X$と$Z$を埋め込み、既存のCITを結果表現に適用し、$Y$にします。
例えば、$Z$ の埋め込みが十分であれば、$Z$ は$Y$ または $X$ の表現のどちらかを持ち、null 仮説は $X$ と $Z$ からそれらの表現に転送されるので、埋め込み仮説に有効な CIT は元の情報に対して有効である。
さらに, 2つの仮説の等価性に関する条件を述べるとともに, 組込み試験が条件付き平均独立性を目標とした場合, 充足力が低下し, 充足率が低下することを示す。
本稿では,特定のデータセットやタスクへの埋め込みマップに対するeCITのタイプI誤差(T1E)制御とパワーを評価するための半合成シミュレーション設計を提案し,それらをアプリケーション上で評価する。
ドイツ議会の演説にeCITを適用すると、2つのLLMの要約には話者の派閥やジェンダーに関する情報が含まれており、それらが生成したスピーチ以外の情報を含んでいると考えられる、埋め込みマップのすべての組み合わせが分かる。
関連論文リスト
- SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳（メタデータ） (2026-08-05T17:51:25Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities [13.657259851747126]
コンテンツの証明は、教育機関、ソーシャルメディアプラットフォーム、企業など、多くの組織の機能に不可欠である。
LLM(Large Language Models)が生成するテキストが、人間が生成したコンテンツとほとんど区別できないようになるにつれて、この問題はますます難しくなってきている。
本稿では,あるテキストが与えられた場合,特定の LLM が生成したかどうかを特定できるのか,という問いに答える。
LLM生成したテキストは、歴史に完全に依存したシーケンシャルなプロセスとしてモデル化し、ゼロショット統計テストを設計し、2つの異なるLCM集合によって生成されたテキストを区別する。
論文 参考訳（メタデータ） (2025-01-04T23:51:43Z) - Conditional Vendi Score: An Information-Theoretic Approach to Diversity Evaluation of Prompt-based Generative Models [15.40817940713399]
モデルの内部の多様性を定量化するために,$H(X|T)$に基づく条件付きVendiスコアを導入する。
テキスト条件付き生成モデルの条件-ベンダースコアと内部の多様性との相関を示すために,いくつかの数値実験を行った。
論文 参考訳（メタデータ） (2024-11-05T05:30:39Z) - A Conditional Independence Test in the Presence of Discretization [16.670013204776737]
既存のテストメソッドは、離散化された観察しかできない場合、機能しない。
このような離散化の存在に対応するために特別に設計された条件付き独立テストを提案する。
論文 参考訳（メタデータ） (2024-04-26T18:08:15Z) - Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。
LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。
我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
論文 参考訳（メタデータ） (2024-03-21T22:08:44Z) - Collaborative non-parametric two-sample testing [55.98760097296213]
目標は、null仮説の$p_v = q_v$が拒否されるノードを特定することである。
グラフ構造を効率的に活用する非パラメトリックコラボレーティブ2サンプルテスト(CTST)フレームワークを提案する。
提案手法は,f-divergence Estimation, Kernel Methods, Multitask Learningなどの要素を統合する。
論文 参考訳（メタデータ） (2024-02-08T14:43:56Z) - Improved Sample Complexity for Incremental Autonomous Exploration in
MDPs [132.88757893161699]
我々は $epsilon$-optimal 目標条件付きポリシーのセットを学び、$ L$ ステップ内で段階的に到達可能なすべての状態を達成します。
DisCoは、コストに敏感な最短経路問題に対して$epsilon/c_min$-optimalポリシーを返すことができる最初のアルゴリズムです。
論文 参考訳（メタデータ） (2020-12-29T14:06:09Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。