論文の概要: Reliability-Aware Determinantal Point Processes for Robust Informative Data Selection in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.00885v1
• Date: Sat, 31 Jan 2026 20:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.450399
• Title: Reliability-Aware Determinantal Point Processes for Robust Informative Data Selection in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるロバストな情報選択のための信頼性を考慮した決定点プロセス
• Authors: Ahmad Sarlak, Abolfazl Razi,
• Abstract要約: 本稿では,確率的データアクセスを考慮した信頼性を考慮したk-DPPの実装であるProbDPPを紹介する。 我々は、この信頼性を考慮した多様性を半帯域問題とみなし、オンライン上で未知の信頼性を効率的に学習するためのUPBスタイルのアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.463509584149428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Informative data selection is a key requirement for large language models (LLMs) to minimize the amount of data required for fine-tuning, network distillation, and token pruning, enabling fast and efficient deployment, especially under computational and communication constraints. Traditional subset selection methods, including those based on Determinantal Point Processes (DPP), focus on maximizing diversity but assume that selected data batches are always available error-free. This presumption prohibits their use under partial storage outage, imperfect communication, and stochastic access failures. Furthermore, we show that the original formulation collapses under such conditions. To address this gap, we introduce ProbDPP, a novel reliability-aware implementation of k-DPP that accounts for probabilistic data access by recasting the objective function with a regularization term that remains well-posed and decomposes into a geometric diversity term and unreliability cost. The resulting objective facilitates robust selection of diverse data batches under uncertainty. Furthermore, we frame this reliability-aware diversity maximization as a combinatorial semi-bandit problem and propose a UCB-style algorithm to efficiently learn the unknown reliability online. Theoretical analysis provides regret bounds for the proposed approach, ensuring performance guarantees.
• Abstract（参考訳）: インフォーマティブなデータ選択は、特に計算と通信の制約下で、高速で効率的なデプロイメントを可能にするため、微調整、ネットワーク蒸留、トークンのプルーニングに必要なデータ量を最小化するために、大きな言語モデル(LLM)にとって重要な要件である。 DPP(Determinantal Point Processes)に基づくような従来のサブセット選択手法は、多様性の最大化に重点を置いているが、選択したデータバッチが常にエラーのないものであると仮定している。 この推定では、部分記憶機能停止、不完全な通信、確率的アクセス障害による使用を禁止している。 さらに,このような条件下では,元の定式化が崩壊することを示す。 このギャップに対処するため、我々は、目的関数を正規化項で再キャストし、幾何的多様性項と信頼性の低いコストに分解することで、確率的データアクセスを考慮に入れた、新しい信頼性に配慮したk-DPPの実装であるProbDPPを紹介した。 結果として得られた目的は、不確実性の下で多様なデータバッチの堅牢な選択を促進する。 さらに、この信頼性を考慮した多様性最大化を組合せ半帯域問題とみなし、未知の信頼性をオンラインで効率的に学習するためのUPBスタイルのアルゴリズムを提案する。 理論的分析は、提案されたアプローチに後悔の念を与え、性能保証を保証する。

関連論文リスト

• Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
  大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。 本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
  論文  参考訳（メタデータ） (2025-12-23T03:10:09Z)
• Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
  特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。 ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。 提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-11-01T19:19:23Z)
• Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results [1.13107643869251]
  本稿では,大規模言語モデルの特定のプロンプトを用いた細粒度対応検証に基づく新しい手法を提案する。 本手法は,(1)対応選択アルゴリズム,(2)対応検証,(3)確率分布の更新の3つの主成分からなる反復ループである。 本稿では,計算効率においてブルートアルゴリズムを著しく上回る新しい$(1-1/e)$-approximationアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-24T16:54:08Z)
• Agreeing to Stop: Reliable Latency-Adaptive Decision Making via Ensembles of Spiking Neural Networks [36.14499894307206]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、入力時系列の間隔を利用して分類などのタスクを効率的に実行することができる反復モデルである。 本稿では,SNNの信頼性向上を目的としたアンサンブルモデルの実装により,SNNの不確実性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-10-25T14:40:33Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。