論文の概要: SciTextures: Collecting and Connecting Visual Patterns, Models, and Code Across Science and Art
- arxiv url: http://arxiv.org/abs/2511.01817v1
- Date: Mon, 03 Nov 2025 18:22:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.368301
- Title: SciTextures: Collecting and Connecting Visual Patterns, Models, and Code Across Science and Art
- Title(参考訳): SciTextures: 科学と芸術をまたいだビジュアルパターン、モデル、コードの収集と接続
- Authors: Sagi Eppel, Alona Strugatski,
- Abstract要約: Scitexturesデータセットは、科学、技術、芸術のあらゆる領域のテクスチャと視覚パターンの大規模なコレクションである。
1200以上の異なるモデルと、物理、化学、生物学、社会学、技術、数学、芸術のパターンやテクスチャの画像10万枚をカバーしている。
私たちはSciTexturesを使用して、AIモデルをリードする能力を評価し、それらを生成するモデルとコードに視覚的パターンをリンクし、同じプロセスから現れた異なるパターンを識別します。
- 参考スコア(独自算出の注目度): 2.2037830857551035
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The ability to connect visual patterns with the processes that form them represents one of the deepest forms of visual understanding. Textures of clouds and waves, the growth of cities and forests, or the formation of materials and landscapes are all examples of patterns emerging from underlying mechanisms. We present the Scitextures dataset, a large-scale collection of textures and visual patterns from all domains of science, tech, and art, along with the models and code that generate these images. Covering over 1,200 different models and 100,000 images of patterns and textures from physics, chemistry, biology, sociology, technology, mathematics, and art, this dataset offers a way to explore the connection between the visual patterns that shape our world and the mechanisms that produce them. Created by an agentic AI pipeline that autonomously collects and implements models in standardized form, we use SciTextures to evaluate the ability of leading AI models to link visual patterns to the models and code that generate them, and to identify different patterns that emerged from the same process. We also test AIs ability to infer and recreate the mechanisms behind visual patterns by providing a natural image of a real-world pattern and asking the AI to identify, model, and code the mechanism that formed the pattern, then run this code to generate a simulated image that is compared to the real image. These benchmarks show that vision-language models (VLMs) can understand and simulate the physical system beyond a visual pattern. The dataset and code are available at: https://zenodo.org/records/17485502
- Abstract(参考訳): 視覚的パターンとそれらを形成するプロセスとを結びつける能力は、視覚的理解の最も深い形態の1つである。
雲や波のテクスチャー、都市や森の成長、材料や風景の形成は全て、基盤となるメカニズムから生まれるパターンの例である。
Scitexturesデータセットは、これらの画像を生成するモデルとコードとともに、科学、技術、芸術のすべての領域のテクスチャと視覚パターンの大規模なコレクションである。
このデータセットは、1200以上の異なるモデルと、物理、化学、生物学、社会学、技術、数学、芸術からパターンやテクスチャのイメージ10万以上をカバーし、世界を形成する視覚的パターンとそれらを生成するメカニズムの関連を探求する手段を提供する。
標準化された形式でモデルを収集し実装するエージェントAIパイプラインによって開発された私たちは、SciTexturesを使用して、AIモデルをリードする能力を評価し、それらを生成するモデルとコードにビジュアルパターンをリンクし、同じプロセスから現れたさまざまなパターンを識別します。
また、実世界のパターンの自然なイメージを提供し、そのパターンを形成するメカニズムを特定し、モデル化し、コード化することで、AIが視覚パターンの背後にあるメカニズムを推論し、再現する能力をテストする。
これらのベンチマークは、視覚言語モデル(VLM)が視覚パターンを超えた物理的システムを理解し、シミュレートできることを示している。
データセットとコードは https://zenodo.org/records/17485502
関連論文リスト
- KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities [93.74881034001312]
KITTENはKnowledge-InTensiveイメージジェネラティオンのベンチマークである。
我々は最新のテキスト・画像モデルと検索強化モデルについて体系的な研究を行う。
分析によると、高度なテキスト・ツー・イメージモデルでさえ、エンティティの正確な視覚的詳細を生成できない。
論文 参考訳(メタデータ) (2024-10-15T17:50:37Z) - Cephalo: Multi-Modal Vision-Language Models for Bio-Inspired Materials Analysis and Design [0.0]
セファロ (Cephalo) は、材料科学の応用のために設計されたビジョン大型言語モデル(V-LLM)のシリーズである。
何千もの科学論文の総合的な画像とテキストデータに基づいて訓練されている。
ジェネレーティブ・アプリケーションには、花粉にインスパイアされた設計材料を含むバイオインスパイアされたデザインが含まれる。
論文 参考訳(メタデータ) (2024-05-29T13:34:32Z) - ASAP: Interpretable Analysis and Summarization of AI-generated Image Patterns at Scale [20.12991230544801]
生成画像モデルは、現実的な画像を生成するための有望な技術として登場してきた。
ユーザーがAI生成画像のパターンを効果的に識別し理解できるようにするための需要が高まっている。
我々はAI生成画像の異なるパターンを自動的に抽出する対話型可視化システムASAPを開発した。
論文 参考訳(メタデータ) (2024-04-03T18:20:41Z) - TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳(メタデータ) (2024-01-17T18:55:49Z) - A Vision Check-up for Language Models [61.852026871772914]
テキストのモデルを用いて、予備的な視覚表現学習システムをどのように訓練するかを示す。
自己教師付き視覚表現学習の実験は、自然画像のセマンティックアセスメントを行うことができる視覚モデルを訓練する可能性を強調している。
論文 参考訳(メタデータ) (2024-01-03T18:09:33Z) - PatchCraft: Exploring Texture Patch for Efficient AI-generated Image
Detection [39.820699370876916]
本稿では,多種多様な生成モデルを用いて生成した偽画像を識別できる新しいAI生成画像検出器を提案する。
グローバルな意味情報を消去し,テクスチャパッチを強化するために,新しいSmash&Reconstruction前処理を提案する。
我々のアプローチは最先端のベースラインよりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2023-11-21T07:12:40Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - Texture Generation with Neural Cellular Automata [64.70093734012121]
一つのテンプレート画像からテクスチャジェネレータを学習する。
NCAモデルで示される振る舞いは、テクスチャを生成するための学習された分散されたローカルアルゴリズムであると主張します。
論文 参考訳(メタデータ) (2021-05-15T22:05:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。