論文の概要: INCONVENIENT: A Benchmark to Assess LLM Generalization Capabilities from Convenience Samples

• arxiv url: http://arxiv.org/abs/2610.21038v1
• Date: Thu, 15 Oct 2026 00:15:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.108715
• Title: INCONVENIENT: A Benchmark to Assess LLM Generalization Capabilities from Convenience Samples
• Title（参考訳）: INCONVENIENT: コンビニエンスサンプルからLLMの一般化能力を評価するベンチマーク
• Abstract要約: 機械学習では、データはしばしば利便性、可用性、コストに基づいて収集される。 InCONVENIENTは、利便性サンプルバイアスに対する堅牢性を研究するためのベンチマークである。
• 参考スコア（独自算出の注目度）: 0.9332987715848714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models for tabular prediction typically assume that training data are representative of the population on which they will be deployed. In practice, however, data are often collected based on convenience, availability, or cost, resulting in systematic sampling biases that can distort feature--target relationships and undermine real-world generalization. Existing tabular distribution-shift benchmarks primarily construct out-of-distribution (OOD) settings by partitioning observations across naturally occurring domains. While such partitions may induce changes in P(Y | X), the resulting shifts are neither explicitly controlled nor isolated, and the evaluation distributions themselves are often not representative of the broader target population. We introduce INCONVENIENT, a benchmark designed to study robustness to convenience-sample bias. Rather than relying on naturally occurring domain partitions, INCONVENIENT directly perturbs feature--target relationships in the training distribution while preserving the original population distribution as the deployment environment. This setting more closely reflects real-world scenarios in which models are developed from unrepresentative samples and subsequently deployed on a broader population. The distinction is particularly relevant for large language models (LLMs), whose pretraining may encode population-level knowledge that extends beyond the relationships observed in a biased training dataset. Unlike existing distribution-shift benchmarks, INCONVENIENT provides explicit control over both the direction and severity of relationship shifts, enabling a systematic assessment of robustness to convenience sampling. The benchmark comprises 200 tabular classification and regression datasets spanning diverse application domains and generates around 15,500 shifted training distributions which lead to substantial downstream degradation.
• Abstract（参考訳）: 表形式の予測のための機械学習モデルは、通常、トレーニングデータがデプロイされる人口を代表するものであると仮定する。 しかし実際には、データは利便性、可用性、コストに基づいて収集されることが多く、結果として、特徴的関係を歪め、現実世界の一般化を損なうような、体系的なサンプリングバイアスが発生する。 既存の表分布シフトベンチマークは、自然発生ドメイン間で観測を分割することで、主にアウト・オブ・ディストリビューション(OOD)の設定を構築する。 このような分割はP(Y | X)の変化を誘発する可能性があるが、結果のシフトは明示的に制御されず、孤立もせず、評価分布自体がより広い対象の人口を代表していないことが多い。 InCONVENIENTは、利便性サンプルバイアスに対する堅牢性を研究するためのベンチマークである。 自然に発生するドメイン分割に頼るのではなく、INCONVENIENTは、トレーニングディストリビューションにおける機能的関係を直接摂動し、元の人口分布をデプロイメント環境として保存する。 この設定は、非表現的なサンプルからモデルが開発され、その後より広い人口に展開される現実世界のシナリオをより深く反映している。 この区別は特に大きな言語モデル(LLM)に関係しており、事前学習は偏りのあるトレーニングデータセットで観察される関係を超えて、人口レベルの知識を符号化することができる。 既存の分散シフトベンチマークとは異なり、INCONVENIENTは関係シフトの方向と深刻度の両方を明示的に制御し、利便性サンプリングに対する堅牢性の体系的な評価を可能にする。 ベンチマークは、さまざまなアプリケーションドメインにまたがる200の表層分類と回帰データセットで構成され、約15,500のシフトトレーニングディストリビューションを生成し、ダウンストリームの大幅な劣化につながった。

関連論文リスト

• ControlledShifts: Towards Standardizing Robustness Evaluation in Trajectory Prediction Under Distribution Shifts [12.370065954075299]
  軌道予測は自動運転の安全性の中心である。 多くの手法は、データ中心あるいはテスト時間適応アプローチによる分散シフト劣化を緩和しようとする。 ControlledShiftsは、既存のトラジェクトリデータセットをイン・ディストリビューションとアウト・オブ・ディストリビューションのパーティションに体系的に再分割するフレームワークである。
  論文  参考訳（メタデータ） (2026-08-18T15:16:52Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• Towards Generalizable Deepfake Detection via Real Distribution Bias Correction [62.89674593681203]
  本稿では,2つの主要コンポーネントからなるReal Distribution Bias Correction(RDBC)フレームワークを紹介する。 RDBCは、ドメイン内およびクロスドメインのディープフェイク検出の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-14T16:11:00Z)
• Biased Generalization in Diffusion Models [4.602851365305176]
  生成モデリングの一般化は、有限データセットから基礎となる分布を学習し、新しいサンプルを生成する能力として定義される。 実際には、テスト損失の最小限でトレーニングが停止されることがしばしばあり、一般化の運用上の指標として捉えられる。 トレーニングデータに不規則に近接するサンプルを選好しながら、モデルがテスト損失を減らし続け、トレーニング中のバイアス付き一般化のフェーズを特定することで、この視点に挑戦する。
  論文  参考訳（メタデータ） (2026-03-03T19:25:33Z)
• Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
  LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。 対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
  論文  参考訳（メタデータ） (2026-03-03T03:34:06Z)
• Local Performance vs. Out-of-Distribution Generalization: An Empirical Analysis of Personalized Federated Learning in Heterogeneous Data Environments [3.186130813218338]
  本研究は,その局所的性能と一般化能力の両方を包含して,フェデレートラーニングアプローチを徹底的に評価することを含む。 本稿では、FLIU (Federated Learning with individualized Updates) に指定されたFedAvgの修正手法を提案し、適応的パーソナライゼーション係数でアルゴリズムをパーソナライゼーションステップで拡張する。
  論文  参考訳（メタデータ） (2025-10-28T15:15:14Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。