論文の概要: Science-T2I: Addressing Scientific Illusions in Image Synthesis

• arxiv url: http://arxiv.org/abs/2504.13129v1
• Date: Thu, 17 Apr 2025 17:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:39:21.635500
• Title: Science-T2I: Addressing Scientific Illusions in Image Synthesis
• Title（参考訳）: サイエンス-T2I:画像合成における科学的イリュージョン
• Authors: Jialuo Li, Wenhao Chai, Xingyu Fu, Haiyang Xu, Saining Xie,
• Abstract要約: そこで,Science-T2Iは,9kプロンプトを持つ20k画像対からなる,エキスパートアノテートされた敵対的データセットである。 我々は、科学的知識に基づいて生成された画像の評価を洗練させるエンドツーエンド報酬モデルであるSciScoreを提案する。
• 参考スコア（独自算出の注目度）: 29.376938884546764
• License:
• Abstract: We present a novel approach to integrating scientific knowledge into generative models, enhancing their realism and consistency in image synthesis. First, we introduce Science-T2I, an expert-annotated adversarial dataset comprising adversarial 20k image pairs with 9k prompts, covering wide distinct scientific knowledge categories. Leveraging Science-T2I, we present SciScore, an end-to-end reward model that refines the assessment of generated images based on scientific knowledge, which is achieved by augmenting both the scientific comprehension and visual capabilities of pre-trained CLIP model. Additionally, based on SciScore, we propose a two-stage training framework, comprising a supervised fine-tuning phase and a masked online fine-tuning phase, to incorporate scientific knowledge into existing generative models. Through comprehensive experiments, we demonstrate the effectiveness of our framework in establishing new standards for evaluating the scientific realism of generated content. Specifically, SciScore attains performance comparable to human-level, demonstrating a 5% improvement similar to evaluations conducted by experienced human evaluators. Furthermore, by applying our proposed fine-tuning method to FLUX, we achieve a performance enhancement exceeding 50% on SciScore.
• Abstract（参考訳）: 本稿では,科学的知識を生成モデルに統合し,そのリアリズムと画像合成の一貫性を高めるための新しいアプローチを提案する。 まず,9kプロンプトを持つ20k画像ペアと9kプロンプトから構成される,有意な科学的知識カテゴリを網羅した,専門家注釈付き対向データセット「Science-T2I」を紹介する。 Science-T2Iを活用することで、科学知識に基づいて生成された画像の評価を洗練するエンドツーエンド報酬モデルであるSciScoreを、事前学習したCLIPモデルの科学的理解と視覚能力の両方を増強することで実現した。 さらに,SciScoreをベースとして,教師付き微調整フェーズとマスク付きオンライン微調整フェーズからなる2段階のトレーニングフレームワークを提案し,既存の生成モデルに科学的知識を取り入れた。 包括的実験を通じて、生成されたコンテンツの科学的リアリズムを評価するための新しい標準を確立する上で、我々のフレームワークの有効性を実証する。 具体的には、SciScoreは人間のレベルに匹敵するパフォーマンスを達成し、経験豊富な評価者による評価と同様の5%の改善を実証している。 さらに,提案手法をFLUXに適用することにより,SciScore上で50%を超える性能向上を実現する。

関連論文リスト

• BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery [24.630117520005257]
  実験的な設計とモデル発見を評価するための10環境のベンチマークであるBoxingGymを紹介する。 予測情報ゲイン(EIG)は,実験が生成モデルのパラメータの不確実性をどの程度低減するかを測定する情報理論量である。 GPT-4oのような現在のLLMは、実験的な設計とモデル発見の両方に苦戦している。
  論文  参考訳（メタデータ） (2025-01-02T21:15:57Z)
• Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System [62.832818186789545]
  Virtual Scientists (VirSci) は、科学研究に固有のチームワークを模倣するために設計されたマルチエージェントシステムである。 VirSciは研究のアイデアを共同で生成し、評価し、洗練するエージェントのチームを組織している。 このマルチエージェントアプローチは、新しい科学的アイデアを生み出す上で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:16:22Z)
• SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding [22.131371019641417]
  大言語モデルの成功にもかかわらず、科学文献理解の課題に直面している。 連続事前学習(CPT)と教師付き微調整(SFT)を統合したハイブリッド戦略を提案する。 我々は科学文献理解に特化したLLMスイートSciLitLLMを提案する。
  論文  参考訳（メタデータ） (2024-08-28T05:41:52Z)
• SciDMT: A Large-Scale Corpus for Detecting Scientific Mentions [52.35520385083425]
  SciDMTは,科学的言及検出のための拡張および拡張されたコーパスである。 コーパスは,1)SciDMTの主コーパスは8万4千件の科学的論文と8百万件以上の弱い注釈付き言及アノテーションと,2)評価目的のために手作業で注釈付けされた100件の科学的論文からなる評価セットから構成される。
  論文  参考訳（メタデータ） (2024-06-20T22:03:21Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
  本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。 本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。 法発見と分子設計における枠組みの有効性を実証するための実験を行った。
  論文  参考訳（メタデータ） (2024-05-16T03:04:10Z)
• SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
  本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。 我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。 その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
  論文  参考訳（メタデータ） (2022-10-25T05:45:00Z)
• A Hybrid Science-Guided Machine Learning Approach for Modeling and Optimizing Chemical Processes [0.0]
  ハイブリッドプロセスモデリングと最適化は、科学誘導機械学習(SGML)アプローチと組み合わせられる。 MLを用いてモデルを改善するために、直列および並列ハイブリッドモデリングのサブカテゴリの展示を行う。 MLモデルの改善に科学的原則を適用するために、我々は、科学誘導設計、学習、洗練のサブカテゴリについて論じる。
  論文  参考訳（メタデータ） (2021-12-02T18:24:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。