論文の概要: Meta-Statistical Learning: Supervised Learning of Statistical Inference

• arxiv url: http://arxiv.org/abs/2502.12088v2
• Date: Wed, 19 Feb 2025 22:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 10:45:31.506093
• Title: Meta-Statistical Learning: Supervised Learning of Statistical Inference
• Title（参考訳）: メタ統計学習:統計的推論の指導的学習
• Authors: Maxime Peyrard, Kyunghyun Cho,
• Abstract要約: この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
• 参考スコア（独自算出の注目度）: 59.463430294611626
• License:
• Abstract: This work demonstrates that the tools and principles driving the success of large language models (LLMs) can be repurposed to tackle distribution-level tasks, where the goal is to predict properties of the data-generating distribution rather than labels for individual datapoints. These tasks encompass statistical inference problems such as parameter estimation, hypothesis testing, or mutual information estimation. Framing these tasks within traditional machine learning pipelines is challenging, as supervision is typically tied to individual datapoint. We propose meta-statistical learning, a framework inspired by multi-instance learning that reformulates statistical inference tasks as supervised learning problems. In this approach, entire datasets are treated as single inputs to neural networks, which predict distribution-level parameters. Transformer-based architectures, without positional encoding, provide a natural fit due to their permutation-invariance properties. By training on large-scale synthetic datasets, meta-statistical models can leverage the scalability and optimization infrastructure of Transformer-based LLMs. We demonstrate the framework's versatility with applications in hypothesis testing and mutual information estimation, showing strong performance, particularly for small datasets where traditional neural methods struggle.
• Abstract（参考訳）: この研究は、大規模言語モデル(LLM)の成功を駆動するツールや原則が、個々のデータポイントのラベルではなく、データ生成ディストリビューションの特性を予測することを目的として、分散レベルのタスクに取り組むために再利用できることを実証している。 これらのタスクは、パラメータ推定、仮説テスト、相互情報推定などの統計的推測問題を含む。 監視は通常、個々のデータポイントに結びついているため、従来の機械学習パイプライン内でこれらのタスクを分割することは難しい。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。 このアプローチでは、データセット全体がニューラルネットワークへの単一入力として扱われ、分散レベルのパラメータを予測する。 トランスフォーマーベースのアーキテクチャは、位置エンコーディングなしで、置換不変性のために自然に適合する。 大規模合成データセットのトレーニングにより、メタ統計モデルはTransformerベースのLLMのスケーラビリティと最適化のインフラを利用することができる。 仮説テストや相互情報推定におけるフレームワークの汎用性を実証し、特に従来のニューラルメソッドが苦労する小さなデータセットにおいて、強力なパフォーマンスを示す。

関連論文リスト

• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• Statistical inference using machine learning and classical techniques based on accumulated local effects (ALE) [0.0]
  Accumulated Local Effects (ALE) は、機械学習アルゴリズムのグローバルな説明のためのモデルに依存しないアプローチである。 ALEに基づく統計的推論を行うには,少なくとも3つの課題がある。 ALEを用いた統計的推論のための革新的なツールと技術を紹介する。
  論文  参考訳（メタデータ） (2023-10-15T16:17:21Z)
• Multi-Task Learning with Summary Statistics [4.871473117968554]
  様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。 また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。 この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
  論文  参考訳（メタデータ） (2023-07-05T15:55:23Z)
• An Entropy-Based Model for Hierarchical Learning [3.1473798197405944]
  実世界のデータセットに共通する特徴は、データドメインがマルチスケールであることである。 本稿では,このマルチスケールデータ構造を利用した学習モデルを提案する。 階層的な学習モデルは、人間の論理的かつ進歩的な学習メカニズムにインスパイアされている。
  論文  参考訳（メタデータ） (2022-12-30T13:14:46Z)
• Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
  集合構造データから学ぶことは、近年注目を集めている根本的な問題である。 本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。 さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
  論文  参考訳（メタデータ） (2021-10-18T09:49:05Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。