論文の概要: LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

• arxiv url: http://arxiv.org/abs/2604.05460v1
• Date: Tue, 07 Apr 2026 05:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.645839
• Title: LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency
• Title（参考訳）: テンソルコンプリートとしてのLDM評価:低ランク構造と半パラメトリック効率
• Authors: Jiachun Li, David Simchi-Levi, Will Wei Sun,
• Abstract要約: 大規模言語モデル(LLM)評価プラットフォームは、ペアワイズな人間の判断にますます依存している。 対比較による低ランク潜在スコアの半パラメトリック推定法として検討した。
• 参考スコア（独自算出の注目度）: 16.73008463123115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) evaluation platforms increasingly rely on pairwise human judgments. These data are noisy, sparse, and non-uniform, yet leaderboards are reported with limited uncertainty quantification. We study this as semiparametric inference for a low-rank latent score tensor observed through pairwise comparisons under Bradley-Terry-Luce-type models. This places LLM evaluation in a new tensor completion setting with structured observations, non-uniform sampling, and pairwise contrasts. Our target is a smooth functional $ψ(T^\star)$, including linear estimands such as ability gaps and nonlinear ones such as win probabilities. We derive the information operator on the low-rank tangent space, the efficient influence function, and the semiparametric efficiency bound, then construct a one-step debiased estimator with asymptotic normality. A central challenge is that the information operator is anisotropic and does not commute with the tangent-space projection, creating a bottleneck absent from isotropic models. We introduce a score-whitening method that equalizes local Fisher information and restores stable inference at the optimal sample-complexity scale. Our results provide a principled framework for uncertainty quantification in LLM evaluation and more broadly for inference on low-rank structures from pairwise data.
• Abstract（参考訳）: 大規模言語モデル(LLM)評価プラットフォームは、ペアワイズな人間の判断にますます依存している。 これらのデータはノイズ、スパース、非均一であるが、リーダーボードは不確実な定量化が限られていると報告されている。 ブラッドリー・テリー・ルーシ型モデルの下でのペア比較により観測された低ランク潜在スコアテンソルの半パラメトリック推論としてこれを考察する。 これにより、LLMの評価は、構造化された観察、非一様サンプリング、対のコントラストを含む新しいテンソル完備化設定に置かれる。 我々の目標は、能力ギャップのような線形推定値や、勝利確率のような非線形推定値を含む滑らかな機能的$(T^\star)$である。 低ランク接空間、効率的な影響関数、半パラメトリック効率境界上の情報演算子を導出し、漸近正規性を持つ1ステップの縮退推定器を構築する。 中心的な課題は、情報作用素が異方性であり、接空間射影と通勤しないことである。 局所的なフィッシャー情報を等化し、最適なサンプル・複雑度尺度で安定した推論を復元するスコア・ホワイトニング手法を提案する。 本研究は,LLM評価における不確実性定量化の原理的枠組みと,より広範にペアデータから低ランク構造を推定するための枠組みを提供する。

関連論文リスト

• Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals [18.612081365101464]
  我々は,標準ラベル付き結果と,モデルが補助的推論連鎖を判断することで得られるペアワイズ比較信号とを組み合わせたフレームワークを開発する。 シミュレーション全体では, モデル出力ノイズの増加に伴い, 評価精度が大幅に向上し, ゲインが増大する。 GPQA Diamond、AIME 2025、GSM8Kの実験では、より正確な性能推定とより信頼性の高いモデルランキングが示されている。
  論文  参考訳（メタデータ） (2026-02-03T03:40:01Z)
• Federated Learning With L0 Constraint Via Probabilistic Gates For Sparsity [0.0]
  LearningNIST(FL)は、複数のクライアントがデータのプライバシを維持しながらモデルのトレーニングに協力する必要がある分散機械学習設定である。 データとモデルの本質的にの疎さは、過度に密集したモデルと、データとクライアントの参加の下での一般化性の低下をもたらすことが多い。 非ゼロパラメータの密度に対するL0制約付きFLを提案し、確率ゲートを用いた革命と連続緩和により達成する。
  論文  参考訳（メタデータ） (2025-12-28T20:33:22Z)
• Prediction-Powered Semi-Supervised Learning with Online Power Tuning [25.176649368039477]
  予測パワー推論(英: Prediction-Powered Inference, PPI)は、最近提案されたパラメータ推定のための統計的推論手法である。 本研究は、モデルトレーニングのための半教師付き学習(SSL)にコアアイデアを拡張し、新しい非バイアス勾配推定器を導入する。
  論文  参考訳（メタデータ） (2025-10-26T09:01:02Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium Learning from Offline Datasets [101.5329678997916]
  両プレイヤーゼロサムマルコフゲーム(MG)をオフライン環境で研究する。 目標は、事前収集されたデータセットに基づいて、近似的なナッシュ均衡(NE)ポリシーペアを見つけることである。
  論文  参考訳（メタデータ） (2022-02-15T15:39:30Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Distributionally Robust Local Non-parametric Conditional Estimation [22.423052432220235]
  非パラメトリックな局所推定を生成する分布安定な新しい推定器を提案する。 一般には難解であるにもかかわらず、局所推定器は凸最適化によって効率的に見つけることができることを示す。 合成およびMNISTデータセットを用いた実験は、この新しいクラスの推定器の競合性能を示している。
  論文  参考訳（メタデータ） (2020-10-12T00:11:17Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。