論文の概要: GDL-DS: A Benchmark for Geometric Deep Learning under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2310.08677v1
• Date: Thu, 12 Oct 2023 19:27:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 15:42:15.887498
• Title: GDL-DS: A Benchmark for Geometric Deep Learning under Distribution Shifts
• Title（参考訳）: GDL-DS: 分布シフトによる幾何学的深層学習のベンチマーク
• Authors: Deyu Zou, Shikun Liu, Siqi Miao, Victor Fung, Shiyu Chang, Pan Li
• Abstract要約: GDL-DSは、分散シフトのあるシナリオにおけるGDLモデルの性能を評価するために設計されたベンチマークである。 評価データセットは、粒子物理学や材料科学から生化学まで、様々な科学領域をカバーする。 ベンチマークの結果,30の異なる実験環境が得られ,それぞれに3つのGDLバックボーンと11の学習アルゴリズムが評価された。
• 参考スコア（独自算出の注目度）: 39.21363872039499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Geometric deep learning (GDL) has gained significant attention in various scientific fields, chiefly for its proficiency in modeling data with intricate geometric structures. Yet, very few works have delved into its capability of tackling the distribution shift problem, a prevalent challenge in many relevant applications. To bridge this gap, we propose GDL-DS, a comprehensive benchmark designed for evaluating the performance of GDL models in scenarios with distribution shifts. Our evaluation datasets cover diverse scientific domains from particle physics and materials science to biochemistry, and encapsulate a broad spectrum of distribution shifts including conditional, covariate, and concept shifts. Furthermore, we study three levels of information access from the out-of-distribution (OOD) testing data, including no OOD information, only OOD features without labels, and OOD features with a few labels. Overall, our benchmark results in 30 different experiment settings, and evaluates 3 GDL backbones and 11 learning algorithms in each setting. A thorough analysis of the evaluation results is provided, poised to illuminate insights for DGL researchers and domain practitioners who are to use DGL in their applications.
• Abstract（参考訳）: 幾何学的深層学習(GDL)は様々な科学分野において注目されており、特に複雑な幾何学構造を持つデータモデリングの習熟度が高い。 しかし、多くの関連アプリケーションで一般的な課題である分散シフト問題に取り組む能力に目を向ける作品はほとんどない。 このギャップを埋めるため,分散シフトのあるシナリオにおけるGDLモデルの性能を評価するための総合ベンチマークであるGDL-DSを提案する。 我々の評価データセットは粒子物理学や材料科学から生化学まで幅広い科学領域をカバーし、条件、共変量、概念シフトを含む幅広い分布シフトをカプセル化する。 さらに,OOD 情報やラベルのない OOD 機能,ラベルのない OOD 機能,ラベルのない OOD 機能など,OOD テストデータからの3つのレベルの情報アクセスについて検討した。 ベンチマークの結果,30の異なる実験環境が得られ,それぞれ3つのGDLバックボーンと11の学習アルゴリズムが評価された。 評価結果の詳細な分析が提供され、アプリケーションでdglを使用するdgl研究者やドメイン実践者のための洞察を照らすことができる。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• DSBench: How Far Are Data Science Agents to Becoming Data Science Experts? [58.330879414174476]
  現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。 このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。 現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
  論文  参考訳（メタデータ） (2024-09-12T02:08:00Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• On the performativity of SDG classifications in large bibliometric databases [0.0]
  大規模な文献データベースは、それぞれの分類において国連の持続可能な開発目標を引き継いだ。 本研究では,大規模言語モデル (LLM) の特徴を用いて,多様なSDG分類から得られる「データバイアス」をバイオロメトリデータに応用することを提案する。
  論文  参考訳（メタデータ） (2024-05-05T17:28:54Z)
• SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research [11.816426823341134]
  これらの問題に対処するための総合的・多分野評価ベンチマークSciEvalを提案する。 ブルームの分類に基づいて、SciEvalは科学的研究能力を体系的に評価する4つの次元をカバーしている。 主観的質問も主観的質問もSciEvalに含まれる。
  論文  参考訳（メタデータ） (2023-08-25T03:05:33Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• Locally Adaptive Algorithms for Multiple Testing with Network Structure, with Application to Genome-Wide Association Studies [4.851566905442038]
  本稿では、ネットワークデータや関連するソースドメインからの補助データの複数サンプルを組み込むための、原則的で汎用的なフレームワークを提案する。 LASLAは、データ駆動重み付けを個々のテストポイントに割り当てるために構造的洞察を活用する、$p$値重み付けアプローチを採用している。 LASLAは様々な合成実験を通じて説明され、T2D関連SNP同定への応用がある。
  論文  参考訳（メタデータ） (2022-03-22T04:58:03Z)
• Surrogate- and invariance-boosted contrastive learning for data-scarce applications in science [2.959890389883449]
  3つの安価な情報ソースを組み込んだ深層学習フレームワークであるSurrogate- and invariance-boosted contrastive Learning (SIB-CL)を導入し、データの不足を克服する。 2次元フォトニック結晶の密度を予測し、3次元時間非依存のシュロディンガー方程式を解くなど、SIB-CLの有効性と様々な科学的問題に対する一般性を示す。
  論文  参考訳（メタデータ） (2021-10-15T23:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。