論文の概要: A Unifying Framework for Robust and Efficient Inference with Unstructured Data

• arxiv url: http://arxiv.org/abs/2505.00282v1
• Date: Thu, 01 May 2025 04:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.216045
• Title: A Unifying Framework for Robust and Efficient Inference with Unstructured Data
• Title（参考訳）: 非構造化データを用いたロバストかつ効率的な推論のための統一フレームワーク
• Authors: Jacob Carlson, Melissa Dell,
• Abstract要約: 本稿では,非構造化データから導出されるパラメータに対して,効率的かつロバストな推論を行うための一般的な枠組みを提案する。 このアプローチをMARS(Missing At Random Structured Data)で形式化します。 我々は、記述的および因果推定の両方のための堅牢で効率的な推定器を開発し、非構造化データからの集約的および変換的予測を用いた推論のような課題に対処する。
• 参考スコア（独自算出の注目度）: 2.07180164747172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a general framework for conducting efficient and robust inference on parameters derived from unstructured data, which include text, images, audio, and video. Economists have long incorporated data extracted from texts and images into their analyses, a practice that has accelerated with advancements in deep neural networks. However, neural networks do not generically produce unbiased predictions, potentially propagating bias to estimators that use their outputs. To address this challenge, we reframe inference with unstructured data as a missing structured data problem, where structured data are imputed from unstructured inputs using deep neural networks. This perspective allows us to apply classic results from semiparametric inference, yielding valid, efficient, and robust estimators based on unstructured data. We formalize this approach with MARS (Missing At Random Structured Data), a unifying framework that integrates and extends existing methods for debiased inference using machine learning predictions, linking them to a variety of older, familiar problems such as causal inference. We develop robust and efficient estimators for both descriptive and causal estimands and address challenges such as inference using aggregated and transformed predictions from unstructured data. Importantly, MARS applies to common empirical settings that have received limited attention in the existing literature. Finally, we reanalyze prominent studies that use unstructured data, demonstrating the practical value of MARS.
• Abstract（参考訳）: 本稿では,テキスト,画像,音声,ビデオを含む非構造化データから導出されるパラメータに対して,効率的かつ堅牢な推論を行うための一般的な枠組みを提案する。 経済学者は長い間、テキストや画像から抽出したデータを分析に組み入れてきた。 しかし、ニューラルネットワークは総じてバイアスのない予測を発生させておらず、その出力を使用する推定器に偏りを伝播させる可能性がある。 この課題に対処するため、構造化されたデータを深層ニューラルネットワークを用いて非構造化された入力からインプットする構造的データ問題として、構造化されていないデータによる推論を再構成した。 この観点から、半パラメトリックな推論から古典的な結果を適用し、非構造化データに基づいて有効で効率的で堅牢な推定を行うことができる。 このアプローチをMARS(Missing At Random Structured Data)で形式化する。これは、機械学習の予測を使って推論の偏りを解消するための既存のメソッドを統合し拡張し、因果推論のようなより古い様々な問題にリンクする統合フレームワークである。 我々は、記述的および因果推定の両方のための堅牢で効率的な推定器を開発し、非構造化データからの集約的および変換的予測を用いた推論のような課題に対処する。 重要なことは、MARSは既存の文献であまり注目されていない一般的な経験的設定に適用される。 最後に、非構造化データを用いた顕著な研究を再分析し、MARSの実用的価値を実証する。

関連論文リスト

• Financial Data Analysis with Robust Federated Logistic Regression [7.68275287892947]
  本研究では,データを複数のクライアントやロケーションに分散するフェデレートされた環境での財務データの解析に焦点をあてる。 我々は,これらの目標のバランスを保とうとする,ロジスティックなロジスティック回帰に基づく堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-28T20:42:24Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• Graph Structure Learning with Interpretable Bayesian Neural Networks [10.957528713294874]
  独立に解釈可能なパラメータを持つ新しい反復を導入する。 これらのパラメータは、エッジ空間のような推定グラフの特性に影響を与える。 これらの反復を解いた後、そのようなグラフの特徴に関する事前知識は、事前分布を形作る。 高速な実行とパラメータ効率により、高忠実度後部近似が可能となる。
  論文  参考訳（メタデータ） (2024-06-20T23:27:41Z)
• Implicit Generative Prior for Bayesian Neural Networks [8.013264410621357]
  複雑なデータ構造のための新しいニューラルネットワーク型経験ベイズ(NA-EB)フレームワークを提案する。 NA-EBフレームワークは変分推論と勾配上昇アルゴリズムを組み合わせたものである。 各種タスクの広範囲な評価を通じて,本フレームワークの実践的応用を実証する。
  論文  参考訳（メタデータ） (2024-04-27T21:00:38Z)
• REST: Enhancing Group Robustness in DNNs through Reweighted Sparse Training [49.581884130880944]
  ディープニューラルネットワーク(DNN)は様々な領域で有効であることが証明されている。 しかし、彼らは推論中に一部の少数派でうまく行動するのに苦労することが多い。
  論文  参考訳（メタデータ） (2023-12-05T16:27:54Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
  イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。 最近のデータ拡張手法は文法的誤りの問題を無視することが多い。 本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-16T16:52:07Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Complex Sequential Data Analysis: A Systematic Literature Review of Existing Algorithms [0.9649642656207869]
  本稿では、不規則なパターンを持つデータセットの分析にディープラーニングフレームワークを使うことに対する過去のアプローチについてレビューする。 従来のディープラーニング手法は、これらのデータセットを解析しようとすると、パフォーマンスが悪く、あるいは失敗する。 ディープラーニングフレームワークの性能は,平均絶対誤差とルート平均二乗誤差精度の指標を用いて評価された。
  論文  参考訳（メタデータ） (2020-07-22T17:53:00Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。