論文の概要: Test-time Collective Prediction

• arxiv url: http://arxiv.org/abs/2106.12012v1
• Date: Tue, 22 Jun 2021 18:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 02:31:07.789185
• Title: Test-time Collective Prediction
• Title（参考訳）: テスト時間集合予測
• Authors: Celestine Mendler-D\"unner, Wenshuo Guo, Stephen Bates, Michael I. Jordan
• Abstract要約: マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
• 参考スコア（独自算出の注目度）: 73.74982509510961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An increasingly common setting in machine learning involves multiple parties, each with their own data, who want to jointly make predictions on future test points. Agents wish to benefit from the collective expertise of the full set of agents to make better predictions than they would individually, but may not be willing to release their data or model parameters. In this work, we explore a decentralized mechanism to make collective predictions at test time, leveraging each agent's pre-trained model without relying on external validation, model retraining, or data pooling. Our approach takes inspiration from the literature in social science on human consensus-making. We analyze our mechanism theoretically, showing that it converges to inverse meansquared-error (MSE) weighting in the large-sample limit. To compute error bars on the collective predictions we propose a decentralized Jackknife procedure that evaluates the sensitivity of our mechanism to a single agent's prediction. Empirically, we demonstrate that our scheme effectively combines models with differing quality across the input space. The proposed consensus prediction achieves significant gains over classical model averaging, and even outperforms weighted averaging schemes that have access to additional validation data.
• Abstract（参考訳）: マシンラーニングでは、それぞれが独自のデータを持つ複数のパーティが、将来のテストポイントに関する予測を共同で行なおうとしている。 エージェントは、個々のエージェントよりも優れた予測を行うために、エージェントの完全な集合的な専門知識から恩恵を受けたいと考えているが、データやモデルパラメータをリリースする意思はないかもしれない。 本研究では,外部検証やモデル再トレーニング,データプーリングに頼らずに,各エージェントの事前学習モデルを活用することにより,テスト時に集合的な予測を行う分散機構を検討する。 我々のアプローチは、人間のコンセンサス形成に関する社会科学の文献からインスピレーションを得ている。 この機構を理論的に解析し,大標本極限における逆平均二乗誤差(mse)重み付けに収束することを示した。 集団予測におけるエラーバーを計算するために,単一エージェントの予測に対するメカニズムの感度を評価する分散化Jackknife手法を提案する。 実験により,本手法は入力空間全体で異なる品質のモデルと効果的に結合することを示す。 提案したコンセンサス予測は,従来のモデル平均よりも大幅に向上し,付加的な検証データにアクセス可能な重み付き平均化スキームよりも優れる。

関連論文リスト

• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Building Socially-Equitable Public Models [32.35090986784889]
  パブリックモデルは、さまざまなダウンストリームタスクを予測し、さまざまなAIアプリケーションにおいて重要な役割を果たす。 我々は、下流エージェントの目的を最適化プロセスに統合することを提唱する。 本研究では,不均一なエージェント間の公平性を育成し,パフォーマンスの相違に対処する新しいエクイタブル・オブジェクトを提案する。
  論文  参考訳（メタデータ） (2024-06-04T21:27:43Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Boosted Control Functions [10.503777692702952]
  本研究の目的は,因果効果推定と予測タスクのギャップを埋めることである。 我々は,機械学習の分布場と同時方程式モデル,およびエコノメティクスの制御関数との新たな接続を確立する。 このフレームワーク内では、予測モデルに対する不変性の強い概念を提案し、それを既存の(ウィーカー)バージョンと比較する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Distributionally Robust Machine Learning with Multi-source Data [6.383451076043423]
  対象分布のクラスに対する説明分散に関する逆報酬を最適化するために,群分布に頑健な予測モデルを導入する。 従来の経験的リスク最小化と比較して,提案した頑健な予測モデルでは,分布シフトを伴う対象集団の予測精度が向上する。 ランダムな森林とニューラルネットワークをベースラーニングアルゴリズムとして用いたシミュレーションおよび実データに対して,提案したグループ分散ロバストな手法の性能を示す。
  論文  参考訳（メタデータ） (2023-09-05T13:19:40Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。