論文の概要: Making Interpretable Discoveries from Unstructured Data: A High-Dimensional Multiple Hypothesis Testing Approach
- arxiv url: http://arxiv.org/abs/2511.01680v1
- Date: Mon, 03 Nov 2025 15:42:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.314246
- Title: Making Interpretable Discoveries from Unstructured Data: A High-Dimensional Multiple Hypothesis Testing Approach
- Title（参考訳）: 非構造データからの解釈可能な発見:高次元多重仮説テストアプローチ
- Authors: Jacob Carlson,
- Abstract要約: 社会科学者たちは、新たな経験的洞察を解き明かすために、構造化されていないデータセットに目を向けている。
本稿では,非構造化データからの発見を統計的に原理的に追跡するための汎用的で柔軟な枠組みを提案する。
研究者が自身のプロジェクトでフレームワークを実装するために、オープンソースのJupyterノートが提供されている。
- 参考スコア（独自算出の注目度）: 2.162862183067095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social scientists are increasingly turning to unstructured datasets to unlock new empirical insights, e.g., estimating causal effects on text outcomes, measuring beliefs from open-ended survey responses. In such settings, unsupervised analysis is often of interest, in that the researcher does not want to pre-specify the objects of measurement or otherwise artificially delimit the space of measurable concepts; they are interested in discovery. This paper proposes a general and flexible framework for pursuing discovery from unstructured data in a statistically principled way. The framework leverages recent methods from the literature on machine learning interpretability to map unstructured data points to high-dimensional, sparse, and interpretable dictionaries of concepts; computes (test) statistics of these dictionary entries; and then performs selective inference on them using newly developed statistical procedures for high-dimensional exceedance control of the $k$-FWER under arbitrary dependence. The proposed framework has few researcher degrees of freedom, is fully replicable, and is cheap to implement -- both in terms of financial cost and researcher time. Applications to recent descriptive and causal analyses of unstructured data in empirical economics are explored. An open source Jupyter notebook is provided for researchers to implement the framework in their own projects.
- Abstract（参考訳）: 社会科学者は、新たな経験的洞察を解き放つために、例えば、テキストの結果に対する因果関係の影響を推定し、オープンな調査回答から信念を測定するために、構造化されていないデータセットに目を向けている。
このような環境では、教師なしの分析は、研究者が測定対象を事前に特定したり、さもなくば測定可能な概念の空間を人工的に切り離すことを望まないという点において、しばしば興味をそそられる。
本稿では,非構造化データからの発見を統計的に原理的に追跡するための汎用的で柔軟な枠組みを提案する。
このフレームワークは、機械学習の解釈可能性に関する文献から、非構造化データポイントを概念の高次元、スパース、解釈可能な辞書にマッピングし、これらの辞書エントリの統計を計算し(テスト)、任意の依存下で$k$-FWERの高次元超越制御のための新しい統計手法を用いて、それらを選択的に推論する。
提案されたフレームワークには、研究者の自由度はほとんどなく、完全に複製可能であり、費用と研究者時間の両面で、実装が安価である。
経験経済学における非構造化データの最近の記述的・因果的分析への応用について検討した。
研究者が自身のプロジェクトでフレームワークを実装するために、オープンソースのJupyterノートが提供されている。
関連論文リスト
- Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - Measurement for Opaque Systems: Multi-source Triangulation with Interpretable Machine Learning [0.0]
間接的データトレース,解釈可能な機械学習モデル,および理論誘導三角測量を用いて,到達不能な測定空間を埋める計測フレームワークを提案する。
我々のフレームワークは、従来の統計的・因果推論に十分なデータがない場合に、定量的な特徴付けに適した分析ワークフローを提供する。
論文 参考訳（メタデータ） (2026-01-16T20:09:53Z) - Who Gets Cited Most? Benchmarking Long-Context Language Models on Scientific Articles [81.89404347890662]
SciTrekは、科学論文を用いた大規模言語モデル(LLM)の長文推論能力を評価するために設計された、新しい質問応答ベンチマークである。
本分析により,モデルの基本的数値演算を行ない,特定の情報を長い文脈で正確に特定する能力において,系統的な欠点が明らかとなった。
論文 参考訳（メタデータ） (2025-09-25T11:36:09Z) - Valid Inference with Imperfect Synthetic Data [39.10587411316875]
モーメントの一般化法に基づく新しい推定器を提案する。
合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
論文 参考訳（メタデータ） (2025-08-08T18:32:52Z) - A Novel, Human-in-the-Loop Computational Grounded Theory Framework for Big Social Data [8.695136686770772]
結果の信頼性とロバスト性への信頼は、"Human-in-the-loop"手法を採用することに依存している、と我々は主張する。
本稿では,大規模定性的データセットの分析を支援する計算基底理論(CGT)の方法論的枠組みを提案する。
論文 参考訳（メタデータ） (2025-06-06T13:43:12Z) - A Unifying Framework for Robust and Efficient Inference with Unstructured Data [2.07180164747172]
本稿では、非構造化データから導出されるパラメータの効率的な推論を行うための一般的な枠組みを提案する。
提案手法は,既存の推論手法を統一し拡張するフレームワークであるMAR-Sで定式化する。
このフレームワーク内では、記述的および因果推定の両方のための堅牢で効率的な推定器を開発する。
論文 参考訳（メタデータ） (2025-05-01T04:11:25Z) - A Comprehensive Survey on Imbalanced Data Learning [56.65067795190842]
不均衡なデータは、さまざまな種類の生データに広まっており、機械学習のパフォーマンスを妨げる。
本調査は,様々な実世界のデータ形式を体系的に分析する。
さまざまなデータフォーマットに関する既存の研究は、データ再バランス、特徴表現、トレーニング戦略、アンサンブル学習の4つのカテゴリにまとめられている。
論文 参考訳（メタデータ） (2025-02-13T04:53:17Z) - A Survey on Data Selection for Language Models [148.300726396877]
データ選択方法は、トレーニングデータセットに含まれるデータポイントを決定することを目的としている。
ディープラーニングは、主に実証的な証拠によって駆動され、大規模なデータに対する実験は高価である。
広範なデータ選択研究のリソースを持つ組織はほとんどない。
論文 参考訳（メタデータ） (2024-02-26T18:54:35Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳（メタデータ） (2023-09-06T05:19:41Z) - Rethinking Complex Queries on Knowledge Graphs with Neural Link Predictors [58.340159346749964]
本稿では,証明可能な推論能力を備えた複雑なクエリを用いたエンドツーエンド学習を支援するニューラルシンボリック手法を提案する。
これまでに検討されていない10種類の新しいクエリを含む新しいデータセットを開発する。
提案手法は,新しいデータセットにおいて先行手法を著しく上回り,既存データセットにおける先行手法を同時に上回っている。
論文 参考訳（メタデータ） (2023-04-14T11:35:35Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - A Pipeline for Analysing Grant Applications [0.0]
本稿では,提案手法が意図した革新的なプロジェクト提案を効果的に識別するかどうかを考察する。
グラント申請は、レビュアーが割り当てた「特定の革新と創造性」(IC)スコアを含むピアレビューされた研究提案である。
本稿では,特徴を符号化した文書上のランダムフォレスト(RF)分類器として,最高の性能を持つモデルを提案する。
論文 参考訳（メタデータ） (2022-10-30T13:43:53Z) - Epistemic Parity: Reproducibility as an Evaluation Metric for
Differential Privacy [9.755020926517291]
本稿では,プロキシタスクの表現性に関する仮定を回避した合成データの評価手法を提案する。
著者が合成データを使用した場合、公表された結論が変わる可能性を測定する。
我々は、より強力なユーティリティ保証を支持し、プライバシー保護を提供する新しい種類のメカニズムを提唱する。
論文 参考訳（メタデータ） (2022-08-26T14:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。