論文の概要: PAPERCLIP: Associating Astronomical Observations and Natural Language with Multi-Modal Models

• arxiv url: http://arxiv.org/abs/2403.08851v1
• Date: Wed, 13 Mar 2024 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 00:41:28.778129
• Title: PAPERCLIP: Associating Astronomical Observations and Natural Language with Multi-Modal Models
• Title（参考訳）: PAPERCLIP:多モードモデルによる天文観測と自然言語の関連
• Authors: Siddharth Mishra-Sharma, Yiding Song, Jesse Thaler,
• Abstract要約: 本稿では,望遠鏡が撮影した天体観測と自然言語をニューラルネットワークモデルを用いて関連付ける手法を提案する。 モデルは、事前訓練されたContrastive Language-Image Pre-training (CLIP)モデルから微調整される。 ハッブル宇宙望遠鏡(HST)の観測例を用いて、微調整されたモデルが観察と自然言語の間の有意義な共同表現を具現化していることを示す。
• 参考スコア（独自算出の注目度）: 0.3840425533789961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present PAPERCLIP (Proposal Abstracts Provide an Effective Representation for Contrastive Language-Image Pre-training), a method which associates astronomical observations imaged by telescopes with natural language using a neural network model. The model is fine-tuned from a pre-trained Contrastive Language-Image Pre-training (CLIP) model using successful observing proposal abstracts and corresponding downstream observations, with the abstracts optionally summarized via guided generation using large language models (LLMs). Using observations from the Hubble Space Telescope (HST) as an example, we show that the fine-tuned model embodies a meaningful joint representation between observations and natural language through tests targeting image retrieval (i.e., finding the most relevant observations using natural language queries) and description retrieval (i.e., querying for astrophysical object classes and use cases most relevant to a given observation). Our study demonstrates the potential for using generalist foundation models rather than task-specific models for interacting with astronomical data by leveraging text as an interface.
• Abstract（参考訳）: 本稿では,望遠鏡が撮影した天体観測と自然言語をニューラルネットワークモデルを用いて関連付ける手法であるPAPERCLIP(Proposal Abstracts provide a Effective Representation for Contrastive Language- Image Pre-Trening)を提案する。 モデルは、提案した抽象概念とそれに対応する下流の観測結果を用いて、学習済みのContrastive Language-Image Pre-training (CLIP)モデルから微調整され、大言語モデル(LLM)を用いたガイド付き生成によって任意に要約される。 ハッブル宇宙望遠鏡(HST)の観測例を用いて、微調整されたモデルが、画像検索(自然言語クエリを用いた最も関連性の高い観測)と記述検索(天体のクラスと、与えられた観測に最も関係のあるユースケース)を対象とするテストを通じて、観察と自然言語の有意義な共同表現を具現化していることを示す。 本研究は,テキストをインタフェースとして活用することで,宇宙データと対話するタスク固有モデルではなく,汎用基盤モデルを使用することの可能性を示す。

関連論文リスト

• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
  本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。 このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
  論文  参考訳（メタデータ） (2023-06-01T18:08:51Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Things not Written in Text: Exploring Spatial Commonsense from Visual Signals [77.46233234061758]
  視覚信号を持つモデルがテキストベースモデルよりも空間的コモンセンスを学習するかどうかを検討する。 本稿では,オブジェクトの相対スケールと,異なる動作下での人とオブジェクトの位置関係に着目したベンチマークを提案する。 画像合成モデルは,他のモデルよりも正確で一貫した空間知識を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-03-15T17:02:30Z)
• Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns [9.031827448667086]
  我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。 モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
  論文  参考訳（メタデータ） (2022-01-19T14:15:41Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。