論文の概要: GeSS: Benchmarking Geometric Deep Learning under Scientific Applications with Distribution Shifts

• arxiv url: http://arxiv.org/abs/2310.08677v2
• Date: Tue, 19 Nov 2024 20:01:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:11:01.796196
• Title: GeSS: Benchmarking Geometric Deep Learning under Scientific Applications with Distribution Shifts
• Title（参考訳）: GeSS: 分散シフトを伴う科学的応用下での幾何学的ディープラーニングのベンチマーク
• Authors: Deyu Zou, Shikun Liu, Siqi Miao, Victor Fung, Shiyu Chang, Pan Li,
• Abstract要約: 分散シフトを伴う科学シナリオにおけるGDLモデルの性能評価のためのベンチマークであるGeSSを提案する。 評価データセットは, 粒子物理学, 材料科学, 生化学まで多様な科学領域を網羅し, 分布シフトの幅広い範囲をカプセル化している。 ベンチマークの結果,30の異なる実験環境が得られ,それぞれに3つのGDLバックボーンと11の学習アルゴリズムが評価された。
• 参考スコア（独自算出の注目度）: 37.00741148951341
• License:
• Abstract: Geometric deep learning (GDL) has gained significant attention in scientific fields, for its proficiency in modeling data with intricate geometric structures. However, very few works have delved into its capability of tackling the distribution shift problem, a prevalent challenge in many applications. To bridge this gap, we propose GeSS, a comprehensive benchmark designed for evaluating the performance of GDL models in scientific scenarios with distribution shifts. Our evaluation datasets cover diverse scientific domains from particle physics, materials science to biochemistry, and encapsulate a broad spectrum of distribution shifts including conditional, covariate, and concept shifts. Furthermore, we study three levels of information access from the out-of-distribution (OOD) test data, including no OOD information, only unlabeled OOD data, and OOD data with a few labels. Overall, our benchmark results in 30 different experiment settings, and evaluates 3 GDL backbones and 11 learning algorithms in each setting. A thorough analysis of the evaluation results is provided, poised to illuminate insights for GDL researchers and domain practitioners who are to use GDL in their applications.
• Abstract（参考訳）: 幾何学的深層学習(GDL)は、複雑な幾何学構造を持つデータモデリングの習熟度から、科学分野で大きな注目を集めている。 しかし、分散シフト問題に対処する能力について検討する研究はほとんどなく、多くのアプリケーションにおいて大きな課題となっている。 このギャップを埋めるため,GDLモデルの性能を分散シフトを伴う科学的シナリオで評価するための総合的なベンチマークであるGeSSを提案する。 評価データセットは, 粒子物理学, 材料科学, 生化学まで多様な科学領域を網羅し, 条件, 共変量, 概念シフトを含む分布シフトの幅広いスペクトルをカプセル化する。 さらに,OOD 情報,ラベルなし OOD データ,ラベルなし OOD データを含む,OOD テストデータからの3つのレベル情報アクセスについて検討した。 ベンチマークの結果,30の異なる実験環境が得られ,それぞれに3つのGDLバックボーンと11の学習アルゴリズムが評価された。 評価結果を徹底的に分析し,GDLを応用しようとするGDL研究者やドメイン実践者に対する洞察を照らし出す。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• DSBench: How Far Are Data Science Agents to Becoming Data Science Experts? [58.330879414174476]
  現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。 このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。 現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
  論文  参考訳（メタデータ） (2024-09-12T02:08:00Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• On the performativity of SDG classifications in large bibliometric databases [0.0]
  大規模な文献データベースは、それぞれの分類において国連の持続可能な開発目標を引き継いだ。 本研究では,大規模言語モデル (LLM) の特徴を用いて,多様なSDG分類から得られる「データバイアス」をバイオロメトリデータに応用することを提案する。
  論文  参考訳（メタデータ） (2024-05-05T17:28:54Z)
• SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research [11.816426823341134]
  これらの問題に対処するための総合的・多分野評価ベンチマークSciEvalを提案する。 ブルームの分類に基づいて、SciEvalは科学的研究能力を体系的に評価する4つの次元をカバーしている。 主観的質問も主観的質問もSciEvalに含まれる。
  論文  参考訳（メタデータ） (2023-08-25T03:05:33Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• Locally Adaptive Algorithms for Multiple Testing with Network Structure, with Application to Genome-Wide Association Studies [4.851566905442038]
  本稿では、ネットワークデータや関連するソースドメインからの補助データの複数サンプルを組み込むための、原則的で汎用的なフレームワークを提案する。 LASLAは、データ駆動重み付けを個々のテストポイントに割り当てるために構造的洞察を活用する、$p$値重み付けアプローチを採用している。 LASLAは様々な合成実験を通じて説明され、T2D関連SNP同定への応用がある。
  論文  参考訳（メタデータ） (2022-03-22T04:58:03Z)
• Surrogate- and invariance-boosted contrastive learning for data-scarce applications in science [2.959890389883449]
  3つの安価な情報ソースを組み込んだ深層学習フレームワークであるSurrogate- and invariance-boosted contrastive Learning (SIB-CL)を導入し、データの不足を克服する。 2次元フォトニック結晶の密度を予測し、3次元時間非依存のシュロディンガー方程式を解くなど、SIB-CLの有効性と様々な科学的問題に対する一般性を示す。
  論文  参考訳（メタデータ） (2021-10-15T23:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。