論文の概要: SciMON: Scientific Inspiration Machines Optimized for Novelty
- arxiv url: http://arxiv.org/abs/2305.14259v5
- Date: Sat, 17 Feb 2024 06:28:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 07:00:58.792496
- Title: SciMON: Scientific Inspiration Machines Optimized for Novelty
- Title(参考訳): SciMON:新奇性に最適化された科学機器
- Authors: Qingyun Wang, Doug Downey, Heng Ji, Tom Hope
- Abstract要約: 文献に基づく新たな科学的方向を生成するために,ニューラルランゲージモデルを探索し,拡張する。
モデルが入力背景コンテキストとして使用される新しい設定で、劇的な出発をとっています。
本稿では,過去の科学的論文から「吸入」を抽出するモデリングフレームワークであるSciMONを紹介する。
- 参考スコア(独自算出の注目度): 74.78803157606083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explore and enhance the ability of neural language models to generate
novel scientific directions grounded in literature. Work on literature-based
hypothesis generation has traditionally focused on binary link prediction --
severely limiting the expressivity of hypotheses. This line of work also does
not focus on optimizing novelty. We take a dramatic departure with a novel
setting in which models use as input background contexts (e.g., problems,
experimental settings, goals), and output natural language ideas grounded in
literature. We present SciMON, a modeling framework that uses retrieval of
"inspirations" from past scientific papers, and explicitly optimizes for
novelty by iteratively comparing to prior papers and updating idea suggestions
until sufficient novelty is achieved. Comprehensive evaluations reveal that
GPT-4 tends to generate ideas with overall low technical depth and novelty,
while our methods partially mitigate this issue. Our work represents a first
step toward evaluating and developing language models that generate new ideas
derived from the scientific literature.
- Abstract(参考訳): 文献に基づく新たな科学的方向を生成するために,ニューラルランゲージモデルを探索し,拡張する。
文献に基づく仮説生成の研究は、伝統的に二進的リンク予測に焦点を当ててきた。
この作品は、新規性を最適化することにも焦点を当てていない。
モデルが入力背景の文脈(例えば、問題、実験的な設定、目標)として使用される新しい設定で劇的な出発点を取り、文学に基づいた自然言語アイデアを出力します。
我々は,過去の論文から「インスパイア」を検索し,先行論文と比較し,十分な新規性が得られるまでアイデア提案の更新を行うことにより,ノベルティを明示的に最適化するモデリングフレームワークであるscimonを提案する。
包括的評価の結果,GPT-4は全体的に低い技術深度と新規性を持つアイデアを産み出す傾向にあることがわかった。
私たちの研究は、科学文献から新たなアイデアを生み出す言語モデルの評価と開発のための第一歩です。
関連論文リスト
- Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Grounded Intuition of GPT-Vision's Abilities with Scientific Images [44.44139684561664]
我々は、GPT-Visionの「接地された直観」を開発するために、多くの人が直感的に試みてきた過程を定式化する。
本稿では,GPT-Visionが特にプロンプトに敏感であることを示す。
我々の手法と分析は、GPT-Visionがいかにして情報にアクセスしやすくできるかを明らかにしながら、研究者が新しいモデルの基盤となる直感を高めるのに役立つことを目的としている。
論文 参考訳(メタデータ) (2023-11-03T17:53:43Z) - Large Language Models for Automated Open-domain Scientific Hypotheses
Discovery [53.40975887946237]
本研究は,社会科学の学術的仮説発見のための最初のNLPデータセットを提案する。
最近のトップ50の社会科学出版物と生のウェブコーパスで構成されている。
最後の目標は、有効で斬新で有用な科学的仮説を自動的に生成するシステムを作ることだ。
論文 参考訳(メタデータ) (2023-09-06T05:19:41Z) - Exploring and Verbalizing Academic Ideas by Concept Co-occurrence [42.16213986603552]
本研究は,学術的アイデアインスピレーションのための概念共起に基づく枠組みを考案する。
我々は20の分野やトピックから概念の共起関係に基づき、進化する概念グラフを構築する。
我々は、共起励磁法と呼ばれる新しいデータ構造に基づくアイデアの記述を生成する。
論文 参考訳(メタデータ) (2023-06-04T07:01:30Z) - Simulating H.P. Lovecraft horror literature with the ChatGPT large
language model [0.0]
本稿では,ChatGPT大言語モデル,特にGPT-4アーキテクチャを用いて,H.P. Lovecraftのホラー文学をシミュレートする新しい手法を提案する。
本研究の目的は,Lovecraftの独特な書体スタイルとテーマを模倣したテキストを生成することであり,また,モデル出力の導出において,迅速な工学的手法の有効性を検討することである。
論文 参考訳(メタデータ) (2023-05-05T11:03:03Z) - Open Vocabulary Object Detection with Proposal Mining and Prediction
Equalization [73.14053674836838]
Open-vocabulary Object Detection (OVD)は、学習語彙以外の新しいカテゴリのオブジェクトを検出するために、語彙サイズを拡大することを目的としている。
最近の研究は、事前訓練された視覚言語モデルにおける豊富な知識に頼っている。
本稿では,提案するマイニングと予測等化を備えた新しいOVDフレームワークMEDetを提案する。
論文 参考訳(メタデータ) (2022-06-22T14:30:41Z) - A Survey on Non-Autoregressive Generation for Neural Machine Translation
and Beyond [145.43029264191543]
非自己回帰(NAR)生成は推論を高速化するために機械翻訳(NMT)で最初に提案される。
NAR生成は機械翻訳を著しく加速させるが、自己回帰(AR)生成の推論は翻訳精度を犠牲にする。
NAR生成とAR生成の精度ギャップを埋めるために、多くの新しいモデルとアルゴリズムが設計/提案されている。
論文 参考訳(メタデータ) (2022-04-20T07:25:22Z) - The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。
その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。
この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
論文 参考訳(メタデータ) (2021-03-02T15:57:39Z) - Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。
本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
論文 参考訳(メタデータ) (2020-05-04T05:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。