論文の概要: Submodular Benchmark Selection

• arxiv url: http://arxiv.org/abs/2605.02209v1
• Date: Mon, 04 May 2026 04:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.136909
• Title: Submodular Benchmark Selection
• Title（参考訳）: サブモジュールベンチマークの選択
• Authors: Alexander Smola,
• Abstract要約: 選択されたベンチマークと残りのベンチマークの間のエントロピーと相互情報は、自然な目的として生じる。 10の公開リーダーボードによる3つの行列の実験では、相互情報選択は小さなサブセットでの計算においてエントロピーよりも優れていた。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating large language models across many benchmarks is expensive, yet many benchmarks are highly correlated. We formalize the selection of a small, informative subset as submodular maximization under a multivariate Gaussian model. Entropy (log-determinant covariance) and mutual information between selected and remaining benchmarks arise as natural objectives. Both are submodular; entropy selection coincides with pivoted Cholesky and has spectral residual bounds, while mutual information is non-monotone in general but empirically monotone for small subsets, so we optimize it greedily. Experiments on three matrices from ten public leaderboards show that mutual information selection outperforms entropy for imputation at small subsets.
• Abstract（参考訳）: 多くのベンチマークで大きな言語モデルを評価するのはコストがかかるが、多くのベンチマークは高い相関関係にある。 多変量ガウスモデルの下で、小さな情報的部分集合の選択を部分モジュラー最大化として定式化する。 エントロピー(log-determinant covariance)と、選択されたベンチマークと残りのベンチマーク間の相互情報は、自然な目的として現れる。 どちらも部分モジュラーであり、エントロピー選択は、ピボットされたコレスキーと一致し、スペクトル残差境界を持ち、相互情報は一般には単調ではないが、小さな部分集合に対して経験的に単調である。 10の公開リーダーボードからの3つの行列の実験では、相互情報選択は小さなサブセットでの計算においてエントロピーよりも優れていた。

関連論文リスト

• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• Generalized Grade-of-Membership Estimation for High-dimensional Locally Dependent Data [6.626575011678484]
  混合会員モデルは、調査回答と集団遺伝データの分析に広く利用されている。 ベイジアンMCMC推論のような既存のアプローチはスケーラブルではなく、高次元設定では理論的保証が欠如している。 本稿では,3方向準テンソルを「脂肪」行列に平坦化し,パラメータを推定するための特異値分解を行う,新しい,シンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-27T18:51:15Z)
• How many classifiers do we need? [50.69951049206484]
  分類器間の不一致と偏極が、個々の分類器を集約することで得られる性能向上とどのように関連しているかを詳細に分析する。 分類器の個数で不一致の挙動を示す。 我々の理論と主張は、様々なタイプのニューラルネットワークを用いた画像分類タスクに関する経験的な結果によって裏付けられている。
  論文  参考訳（メタデータ） (2024-11-01T02:59:56Z)
• A Consistent and Scalable Algorithm for Best Subset Selection in Single Index Models [1.233738817269826]
  高次元モデルのベスト・サブセット選択は計算的に難解であることが知られている。 既存のプロキシアルゴリズムは魅力的だが、ベストサブセットのソリューションは得られない。 本稿では,高次元SIMにおける最適サブセット選択のための拡張性のあるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-12T13:48:06Z)
• Variable Selection for Kernel Two-Sample Tests [9.581064100940381]
  2サンプルテストの変数選択問題を考察する。 カーネルの最大平均誤差(MMD)に基づく新しいフレームワークを提案する。 提案手法は,分散正規化カーネルMDD統計量の最大化を図った,所定のサイズを持つ変数のサブセットを求める。
  論文  参考訳（メタデータ） (2023-02-15T00:39:56Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Information-theoretic Feature Selection via Tensor Decomposition and Submodularity [38.05393186002834]
  本稿では,全ての変数の結合PMFの低ランクテンソルモデルを導入し,複雑性を緩和し,与えられた特徴量の分類性能を最大化する手法として間接的ターゲットを提案する。 原目標変数の代わりにネイブベイズモデルの潜伏変数を間接的に予測することにより、濃度制約を受ける単調部分モジュラ函数として特徴選択問題を定式化することができる。
  論文  参考訳（メタデータ） (2020-10-30T10:36:46Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)
• A Group Norm Regularized Factorization Model for Subspace Segmentation [4.926716472066594]
  本稿では,部分空間分割のためのLRRモデルにインスパイアされた群ノルム正規化因数分解モデル(GNRFM)を提案する。 具体的には、群ノルム正規化を採用し、係数行列の列をスパースにすることで、低ランクの目的を達成する。 従来のモデルやアルゴリズムと比較して、提案手法はより高速でノイズに強いため、最終的なクラスタリング結果の方が優れている。
  論文  参考訳（メタデータ） (2020-01-08T15:20:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。