論文の概要: Automated Statistical Model Discovery with Language Models

• arxiv url: http://arxiv.org/abs/2402.17879v2
• Date: Sat, 22 Jun 2024 05:08:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 01:41:44.324730
• Title: Automated Statistical Model Discovery with Language Models
• Title（参考訳）: 言語モデルを用いた統計モデルの自動発見
• Authors: Michael Y. Li, Emily B. Fox, Noah D. Goodman,
• Abstract要約: 本稿では,言語モデルを用いた自動統計モデル探索手法を提案する。 Boxのループの原則的なフレームワーク内に,自動手順を投入しました。 その結果,LM駆動型モデル発見の可能性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 34.03743547761152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Statistical model discovery is a challenging search over a vast space of models subject to domain-specific constraints. Efficiently searching over this space requires expertise in modeling and the problem domain. Motivated by the domain knowledge and programming capabilities of large language models (LMs), we introduce a method for language model driven automated statistical model discovery. We cast our automated procedure within the principled framework of Box's Loop: the LM iterates between proposing statistical models represented as probabilistic programs, acting as a modeler, and critiquing those models, acting as a domain expert. By leveraging LMs, we do not have to define a domain-specific language of models or design a handcrafted search procedure, which are key restrictions of previous systems. We evaluate our method in three settings in probabilistic modeling: searching within a restricted space of models, searching over an open-ended space, and improving expert models under natural language constraints (e.g., this model should be interpretable to an ecologist). Our method identifies models on par with human expert designed models and extends classic models in interpretable ways. Our results highlight the promise of LM-driven model discovery.
• Abstract（参考訳）: 統計的モデル発見は、ドメイン固有の制約を受ける広大なモデルの空間を探索する難題である。 この領域を効果的に探索するには、モデリングと問題領域の専門知識が必要である。 大規模言語モデル(LM)のドメイン知識とプログラミング能力に動機付けられ,言語モデルによる自動統計モデル発見のための手法を提案する。 LMは確率的プログラムとして表される統計モデルを提案し、モデラーとして機能し、ドメインエキスパートとして機能し、それらのモデルを批判する。 LMを利用することで、モデルのドメイン固有言語を定義したり、手作りの検索手順を設計したりする必要がなくなる。 確率的モデリングでは,制約されたモデルの空間内を探索し,オープンな空間を探索し,自然言語制約下での専門家モデルを改善する(例えば,このモデルは生態学者に解釈できる)。 提案手法は,人間の専門家が設計したモデルと同等のモデルを特定し,解釈可能な方法で古典モデルを拡張する。 その結果,LM駆動型モデル発見の可能性を浮き彫りにした。

関連論文リスト

• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Model Provenance via Model DNA [23.885185988451667]
  本稿では,機械学習モデルの特徴を表現した新しいモデルDNAについて紹介する。 本研究では,対象モデルの事前学習モデルであるかどうかを識別できるモデル証明同定のための効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-08-04T03:46:41Z)
• Likelihood-Based Diffusion Language Models [13.916640262862215]
  自己回帰型言語モデルと拡散型言語モデルとのギャップを埋める第一歩を踏み出す。 我々は、アルゴリズムの改善、法則のスケーリング、計算量の増加を通じて、この目標を追求する。 我々はGPT-2 124Mをベンチマークデータセットで上回る大きな拡散言語モデルであるPlaid 1Bをリリースする。
  論文  参考訳（メタデータ） (2023-05-30T16:43:31Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Understanding Domain Learning in Language Models Through Subpopulation Analysis [35.16003054930906]
  現代のニューラルネットワークアーキテクチャにおいて、異なるドメインがどのようにコード化されているかを調べる。 我々は、自然言語領域、モデルサイズ、使用したトレーニングデータ量との関係を分析する。
  論文  参考訳（メタデータ） (2022-10-22T21:12:57Z)
• Multi-Model Probabilistic Programming [0.0]
  本稿では,各プログラムが関係する確率モデルのネットワークを表現できる確率計画の拡張について述べる。 本稿では,これらの多モデル確率型プログラムの形式的意味論,ネットワーク・オブ・モデル演算のための効率的なアルゴリズムの集合,および一般的な確率型言語であるStan上に構築されたサンプル実装について述べる。 このネットワーク・オブ・モデル表現は、モデル空間における検索と自動化、モデル開発の追跡とコミュニケーション、pハックのような問題を緩和する明示的なモデラー自由度を含む、多くの扉を開く。
  論文  参考訳（メタデータ） (2022-08-12T15:38:15Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
  Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。 我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-26T11:32:27Z)
• VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry [70.10343492784465]
  モデル予測だけでなく、その解釈可能性も、プロセスエンジニアに公開する必要があります。 LIMEに基づくモデルに依存しない局所的解釈可能性ソリューションが最近出現し、元の手法が改良された。 本稿では, 燃焼炉で生成する高温金属の温度を推定するデータ駆動型モデルの局所的解釈可能性に関する新しいアプローチ, VAE-LIMEを提案する。
  論文  参考訳（メタデータ） (2020-07-15T07:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。