論文の概要: Econometrics with Pre-Trained Embeddings for Unstructured Data
- arxiv url: http://arxiv.org/abs/2607.17378v1
- Date: Sun, 19 Jul 2026 18:37:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.453983
- Title: Econometrics with Pre-Trained Embeddings for Unstructured Data
- Title（参考訳）: 未構造化データに対するプレトレーニング埋め込みを用いたエコノメトリ
- Abstract要約: エコノミストは、コンピュータ科学者が未構造化データから埋め込みを抽出するために開発した、既製の事前学習モデルを使うことが多い。
この習慣は人気があるにもかかわらず、理論上の基礎は限られている。
我々はこれらの困難を克服し、事前学習された埋め込みを伴う機械学習モデルの収束率を導出するのに十分な条件を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unstructured data, such as images and text, are increasingly used in empirical economics. Since training machine-learning models on unstructured data is costly, economists often use off-the-shelf pre-trained deep learning models developed by computer scientists to extract embeddings, which are then used as covariates in target economic analyses. Despite the popularity of this practice, its theoretical foundations remain limited. There are two main difficulties. First, the pre-trained model is usually trained on a different dataset and for a different task. Consequently, it is unclear when such a model can be used reliably for the target task. Second, the embedding function is subject to an identification problem, which makes it difficult to analyze the estimation error of the embedding function and its effect on the target task. In this paper, we provide sufficient conditions to overcome these difficulties and derive the convergence rate of machine learning models with pre-trained embeddings. We illustrate the theory through double machine learning applications for estimating parameters of interest, such as partially linear regression with unstructured controls, price elasticity in demand estimation considering the product quality measured by images and text, missing data imputation with unstructured data, and the average treatment effect with unstructured confounders.
- Abstract（参考訳）: 画像やテキストなどの構造化されていないデータは、経験経済学においてますます利用されている。
機械学習モデルを非構造化データで訓練することはコストがかかるため、経済学者はコンピュータ科学者によって開発された既成のディープラーニングモデルを用いて埋め込みを抽出し、対象とする経済分析において共変量として使用される。
この習慣は人気があるにもかかわらず、理論上の基礎は限られている。
主な難題は2つある。
まず、事前トレーニングされたモデルは、通常、異なるデータセットと異なるタスクのためにトレーニングされる。
したがって、そのようなモデルが目的のタスクに確実に利用できるかどうかは不明である。
第2に、埋め込み関数は識別問題の対象となり、組込み関数の推定誤差とその目標タスクへの影響を解析することが困難になる。
本稿では,これらの困難を克服し,事前学習した埋め込みを用いた機械学習モデルの収束率を導出するための十分な条件を提供する。
本稿では,非構造化制御による部分線形回帰,画像やテキストによる製品品質を考慮した需要予測における価格弾力性,非構造化データによるデータ計算の欠如,非構造化共同設立者による平均処理効果など,興味のあるパラメータを推定するためのダブル機械学習アプリケーションによる理論を解説する。
関連論文リスト
- Data Attribution at Scale via Influence Matrix Estimation [15.285619889301152]
データ帰属は、モデル予測が帰属アルゴリズムよりもモデルのパフォーマンスをどのように形成するかを模索する。
この行列を回復するのに最も適したものは、自身にとって最良の行列と異なることを示す。
論文 参考訳（メタデータ） (2026-09-14T05:04:17Z) - Bidirectional Curriculum Generation: A Multi-Agent Framework for Data-Efficient Mathematical Reasoning [16.95900718416944]
各トレーニングサンプルの教育的価値を最大化するために,新しい双方向カリキュラム生成フレームワークを導入する。
剛性軌道とは異なり、我々のマルチエージェントエコシステムは適応的な教育を模倣し、閉じたフィードバックループを確立する。
このメカニズムは、モデルが任意の段階で最も効果的なデータのみを消費することを保証します。
論文 参考訳（メタデータ） (2026-03-05T12:49:21Z) - Learning-Augmented Moment Estimation on Time-Decay Models [55.06256430461023]
私たちは、多くの基本的な問題に対して学習強化アルゴリズムを提供するために、データセットのヘビーヒッターにオラクルを使用します。
提案手法は,実データおよび合成データセット上でのアルゴリズムの実用的効率を実証する実験的な評価によって理論的結果を補完するものである。
論文 参考訳（メタデータ） (2026-03-03T00:42:34Z) - Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳（メタデータ） (2025-07-31T05:34:27Z) - A Unifying Framework for Robust and Efficient Inference with Unstructured Data [2.07180164747172]
本稿では、非構造化データから導出されるパラメータの効率的な推論を行うための一般的な枠組みを提案する。
提案手法は,既存の推論手法を統一し拡張するフレームワークであるMAR-Sで定式化する。
このフレームワーク内では、記述的および因果推定の両方のための堅牢で効率的な推定器を開発する。
論文 参考訳（メタデータ） (2025-05-01T04:11:25Z) - A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。
モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。
一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
論文 参考訳（メタデータ） (2025-02-26T06:18:13Z) - RESTOR: Knowledge Recovery in Machine Unlearning [71.75834077528305]
Webスケールコーパスでトレーニングされた大規模な言語モデルは、プライベートまたはセンシティブな情報を含むことができる。
このようなデータポイントの効果を排除するために、いくつかの機械学習アルゴリズムが提案されている。
機械学習評価のためのRESTORフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-31T20:54:35Z) - Machine Unlearning for Causal Inference [0.6621714555125157]
モデルが与えられたユーザに関する情報(マシンアンラーニング)の学習/取得の一部を忘れることが重要である。
本稿では、因果推論のための機械学習の概念、特に確率スコアマッチングと治療効果推定について紹介する。
この研究で使用されるデータセットは、ジョブトレーニングプログラムの有効性を評価するために広く使用されているデータセットであるLalondeデータセットである。
論文 参考訳（メタデータ） (2023-08-24T17:27:01Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Uncertainty Estimation in Machine Learning [0.0]
機械学習において、モデルの複雑さと厳密な非線形性は、不確実性評価に深刻な障害となる。
事前トレーニングモデルの最新の例は、数十億のパラメータと半テラバイトのトレーニングデータセットを備えたGenerative Pre-trained Transformer 3である。
論文 参考訳（メタデータ） (2022-06-03T16:11:11Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳（メタデータ） (2020-05-25T12:13:49Z) - Machine Learning to Tackle the Challenges of Transient and Soft Errors
in Complex Circuits [0.16311150636417257]
機械学習モデルは、回路インスタンスの完全なリストに対して、インスタンスごとの正確な関数デレートデータを予測するために使用される。
提案手法を実例に適用し,各種機械学習モデルの評価と比較を行った。
論文 参考訳（メタデータ） (2020-02-18T18:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。