論文の概要: PromptNCE: Pointwise Mutual Information Predictions Using Only LLMs and Contrastive Estimation Prompts

• arxiv url: http://arxiv.org/abs/2605.21776v1
• Date: Wed, 20 May 2026 22:10:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.496983
• Title: PromptNCE: Pointwise Mutual Information Predictions Using Only LLMs and Contrastive Estimation Prompts
• Title（参考訳）: PromptNCE: LLMとContrastive Estimation Promptのみを用いたポイントワイズ相互情報予測
• Authors: Juliette Woodrow, Chris Piech,
• Abstract要約: テキストから相互情報を推定するには、通常、タスク固有の批評家を訓練する必要がある。 大規模言語モデルでは、プロンプトと帰納確率のみを用いて、ポイントワイドな相互情報ゼロショットを推定できるかどうかを問う。 我々は,3つの公開データセットに対して,人間由来の地中PMIを用いたベンチマークを導入し,情報理論に基づく5つのプロンプトベース推定手法を評価する。
• 参考スコア（独自算出の注目度）: 3.015315464409211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating mutual information from text usually requires training a task-specific critic, which limits its use in low-data settings. We ask whether large language models can instead estimate pointwise mutual information zero-shot, using only prompts and elicited probabilities. We introduce a benchmark with human-derived ground-truth PMI across three publicly available datasets, and evaluate five information-theoretic prompting-based estimators. Our main method, PromptNCE, frames conditional probability estimation as a contrastive task and augments the candidate set with an explicit OTHER category. We show theoretically that adding OTHER recovers the true conditional P(y | x) rather than just a ranking over listed candidates, turning a contrastive prompt into a general-purpose zero-shot probability estimator. PromptNCE is the best zero-shot method on all three datasets, reaching Spearman correlation up to 0.82 with human-derived PMI. We also present a case study in computer science education showing how these estimators can be used to score student knowledge summaries in a low-data setting.
• Abstract（参考訳）: テキストから相互情報を推定するには、通常、タスク固有の批評家を訓練する必要がある。 大規模言語モデルでは、プロンプトと帰納確率のみを用いて、ポイントワイドな相互情報ゼロショットを推定できるかどうかを問う。 我々は,3つの公開データセットに対して,人間由来の地中PMIを用いたベンチマークを導入し,情報理論に基づく5つのプロンプトベース推定手法を評価する。 提案手法であるPromptNCEは、条件付き確率推定をコントラスト的タスクとしてフレーム化し、明示的なOTHERカテゴリで候補集合を拡大する。 理論的には、OTHER の追加は、リストされた候補に対するランキングではなく、真の条件 P(y | x) を復元し、対照的なプロンプトを汎用的なゼロショット確率推定器に変換する。 PromptNCEは3つのデータセットで最高のゼロショット法であり、人間由来のPMIとのSpearman相関は最大0.82に達する。 また、コンピュータサイエンス教育におけるケーススタディとして、これらの推定器を用いて、低データ環境で学生の知識の要約を評価する方法を示す。

関連論文リスト

• Probabilistic Reasoning with LLMs for k-anonymity Estimation [32.33315973296769]
  大規模言語モデルに対する不確実性を考慮した新しい数値推論タスクを提案する。 BRANCHは、与えられた情報と一致する集団の大きさのテキストのk-privacy値を推定する新しい手法である。 実験の結果,k値が73%と推定され,o3-miniとチェーン・オブ・シント推論の13%の増加が確認された。
  論文  参考訳（メタデータ） (2025-03-12T17:41:25Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Self-Supervised Relational Reasoning for Representation Learning [5.076419064097733]
  自己教師型学習では、ラベルのないデータに対して代替ターゲットを定義することにより、代理目的を達成することを課題とする。 本稿では,学習者が無ラベルデータに暗黙的な情報から信号をブートストラップできる,新たな自己教師型関係推論法を提案する。 提案手法は,標準データセット,プロトコル,バックボーンを用いて,厳密な実験手順に従って評価する。
  論文  参考訳（メタデータ） (2020-06-10T14:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。