論文の概要: Hypothesis Generation with Large Language Models
- arxiv url: http://arxiv.org/abs/2404.04326v2
- Date: Fri, 23 Aug 2024 18:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 23:56:35.799125
- Title: Hypothesis Generation with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた仮説生成
- Authors: Yangqiaoyu Zhou, Haokun Liu, Tejes Srivastava, Hongyuan Mei, Chenhao Tan,
- Abstract要約: データに基づく仮説生成(ラベル付き例)に焦点を当てる。
マルチアームの盗賊にインスパイアされた我々は、更新プロセスにおけるエクスプロイト探索のトレードオフを通知する報酬関数を設計する。
我々のアルゴリズムは、分類タスクにおいて、数発のプロンプトよりもずっと優れた予測性能を実現する仮説を生成することができる。
- 参考スコア(独自算出の注目度): 28.73562677221476
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Effective generation of novel hypotheses is instrumental to scientific progress. So far, researchers have been the main powerhouse behind hypothesis generation by painstaking data analysis and thinking (also known as the Eureka moment). In this paper, we examine the potential of large language models (LLMs) to generate hypotheses. We focus on hypothesis generation based on data (i.e., labeled examples). To enable LLMs to handle arbitrarily long contexts, we generate initial hypotheses from a small number of examples and then update them iteratively to improve the quality of hypotheses. Inspired by multi-armed bandits, we design a reward function to inform the exploitation-exploration tradeoff in the update process. Our algorithm is able to generate hypotheses that enable much better predictive performance than few-shot prompting in classification tasks, improving accuracy by 31.7% on a synthetic dataset and by 13.9%, 3.3% and, 24.9% on three real-world datasets. We also outperform supervised learning by 12.8% and 11.2% on two challenging real-world datasets. Furthermore, we find that the generated hypotheses not only corroborate human-verified theories but also uncover new insights for the tasks.
- Abstract(参考訳): 新たな仮説の効果的な生成は、科学的進歩に欠かせない。
これまでのところ、研究者はデータ分析と思考(ユーレカモーメントとしても知られる)に苦しむことによって仮説生成を支えてきた。
本稿では,大言語モデル(LLM)の仮説生成の可能性について検討する。
データに基づく仮説生成(ラベル付き例)に焦点を当てる。
LLMが任意に長いコンテキストを扱えるようにするために、少数の例から初期仮説を生成し、仮説の質を改善するために反復的に更新する。
マルチアームの盗賊にインスパイアされた我々は、更新プロセスにおけるエクスプロイト探索のトレードオフを通知する報酬関数を設計する。
我々のアルゴリズムは、分類タスクにおいて数発のプロンプトよりもはるかに優れた予測性能を実現し、合成データセットで精度を31.7%向上し、3つの実世界のデータセットで13.9%、3.3%、24.9%向上する仮説を生成することができる。
また、2つの挑戦的な現実世界のデータセットにおいて、教師あり学習を12.8%、11.2%で上回った。
さらに、生成した仮説は、人間の検証理論を裏付けるだけでなく、タスクに対する新たな洞察も明らかにする。
関連論文リスト
- Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。
まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。
本稿では,実証的リスク最小化法(DEM)を提案する。
論文 参考訳(メタデータ) (2025-02-10T10:52:17Z) - Sparse Autoencoders for Hypothesis Generation [1.5450225594635711]
hypotheSAEsはテキストデータ(例:見出し)とターゲット変数(例:クリック)の関係を仮説化する方法である。
テキスト埋め込みでスパースオートエンコーダを訓練し、データ分布を記述する解釈可能な特徴を生成する。
対象変数を予測する機能を選択し,(3)各特徴の自然言語解釈を生成する。
論文 参考訳(メタデータ) (2025-02-05T18:58:02Z) - Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。
我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。
評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
論文 参考訳(メタデータ) (2024-12-12T21:29:00Z) - Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing [1.7487745673871375]
自然言語推論(英: Natural Language Inference、NLI)とは、仮説が与えられた前提によって正当化できるかどうかを推測するタスクである。
本稿では,単語重複,数値推論,長さミスマッチ問題を解くために,データ拡張と事前処理手法を提案する。
論文 参考訳(メタデータ) (2024-12-10T01:49:23Z) - Literature Meets Data: A Synergistic Approach to Hypothesis Generation [24.98928229927995]
本研究では,文献に基づく洞察とデータを組み合わせて仮説生成を行う手法を開発した。
また,人間の意思決定を支援するためのLLM生成仮説の有用性を評価するための最初の人的評価を行った。
論文 参考訳(メタデータ) (2024-10-22T18:00:00Z) - Hypothesizing Missing Causal Variables with LLMs [55.28678224020973]
我々は、入力が欠落変数を持つ部分因果グラフであるような新しいタスクを定式化し、出力は部分グラフを完成させるための欠落変数に関する仮説である。
原因と効果の間の媒介変数を仮説化するLLMの強い能力を示す。
また,オープンソースモデルの一部がGPT-4モデルより優れているという驚くべき結果も得られた。
論文 参考訳(メタデータ) (2024-09-04T10:37:44Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳(メタデータ) (2024-02-02T05:53:22Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳(メタデータ) (2023-09-06T05:19:41Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - Empirically Verifying Hypotheses Using Reinforcement Learning [58.09414653169534]
本稿では,仮説検証をRL問題として定式化する。
我々は、世界の力学に関する仮説を前提として、仮説が真か偽かを予測するのに役立つ観測結果を生成することができるエージェントを構築することを目指している。
論文 参考訳(メタデータ) (2020-06-29T01:01:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。