論文の概要: Calibrating Concepts and Operations: Towards Symbolic Reasoning on Real Images

• arxiv url: http://arxiv.org/abs/2110.00519v1
• Date: Fri, 1 Oct 2021 16:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 14:47:17.853153
• Title: Calibrating Concepts and Operations: Towards Symbolic Reasoning on Real Images
• Title（参考訳）: 概念と操作の校正 : 実像のシンボリック推論に向けて
• Authors: Zhuowan Li, Elias Stengel-Eskin, Yixiao Zhang, Cihang Xie, Quan Tran, Benjamin Van Durme, Alan Yuille
• Abstract要約: 視覚概念の長期分布と実データにおける推論ステップの不平等の重要性は重要な障害である。 本稿では、ニューラルネットワークモデルによる基礎となるデータ特性のキャプチャを可能にするCalibrating Concepts and Operations (CCO)を提案する。 実験の結果,CCOは実画像上でのニューラルシンボリック手法の性能を大幅に向上させることがわかった。
• 参考スコア（独自算出の注目度）: 42.164278183845155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While neural symbolic methods demonstrate impressive performance in visual question answering on synthetic images, their performance suffers on real images. We identify that the long-tail distribution of visual concepts and unequal importance of reasoning steps in real data are the two key obstacles that limit the models' real-world potentials. To address these challenges, we propose a new paradigm, Calibrating Concepts and Operations (CCO), which enables neural symbolic models to capture underlying data characteristics and to reason with hierarchical importance. Specifically, we introduce an executor with learnable concept embedding magnitudes for handling distribution imbalance, and an operation calibrator for highlighting important operations and suppressing redundant ones. Our experiments show CCO substantially boosts the performance of neural symbolic methods on real images. By evaluating models on the real world dataset GQA, CCO helps the neural symbolic method NSCL outperforms its vanilla counterpart by 9.1% (from 47.0% to 56.1%); this result also largely reduces the performance gap between symbolic and non-symbolic methods. Additionally, we create a perturbed test set for better understanding and analyzing model performance on real images. Code is available at https://github.com/Lizw14/CaliCO.git .
• Abstract（参考訳）: ニューラルシンボリックメソッドは、合成画像に対する視覚的質問応答において印象的なパフォーマンスを示すが、実際の画像ではそのパフォーマンスが損なわれる。 実データにおいて、視覚的概念のロングテール分布と推論ステップの不等さは、モデルの実世界のポテンシャルを制限する2つの重要な障害である。 これらの課題に対処するために,ニューラルシンボリックモデルが基盤となるデータ特性をキャプチャし,階層的重要度を持つ推論を可能にする,概念と操作のキャリブレーション(cco)という新しいパラダイムを提案する。 具体的には,分散不均衡を扱うための学習可能な概念を組み込んだエグゼキュータと,重要な操作を強調表示し冗長な動作を抑制する操作キャリブレータを提案する。 実験の結果,CCOは実画像上でのニューラルシンボル法の性能を大幅に向上させることがわかった。 実世界のデータセットgqaのモデルを評価することによって、ccoは、ニューラルネットワークのシンボリックメソッドnsclが、そのバニラを9.1%上回る(47.0%から56.1%)。 さらに,実画像のモデル性能をよりよく理解し,分析するための摂動テストセットを作成する。 コードはhttps://github.com/Lizw14/CaliCO.gitで入手できる。

関連論文リスト

• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• Scaling Laws of Synthetic Images for Model Training ... for Now [54.43596959598466]
  本研究では, 合成画像のスケーリング法則について, テクスト・ツー・イメージ・モデルの現状から検討した。 合成画像は、CLIPトレーニングの実際の画像と似ているが、やや効果の低いスケーリング傾向を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:59Z)
• On quantifying and improving realism of images generated with diffusion [50.37578424163951]
  与えられた画像の5つの統計的測度から算出した画像リアリズムスコア(IRS)と呼ばれるメトリクスを提案する。 IRSは、与えられた画像を実または偽のものとして分類する手段として容易に利用できる。 我々は,安定拡散モデル (SDM) , Dalle2, Midjourney, BigGAN による偽画像の検出に成功して,提案したIRSのモデルおよびデータに依存しない性質を実験的に確立した。 このデータセットは、高品質の4つのモデルによって生成される100のクラスに対して1,000のサンプルを提供します。
  論文  参考訳（メタデータ） (2023-09-26T08:32:55Z)
• Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic-Structural Constraints [32.07631215590755]
  コントラスト学習(CL)は、相関したパッチをまとめて、非相関的なパッチを分離するのに成功している。 本研究では,合成画像と精細画像間の意味的・構造的整合性を利用して,意味的歪みを低減するためにCLを採用する。
  論文  参考訳（メタデータ） (2023-04-25T05:55:28Z)
• ECLAD: Extracting Concepts with Local Aggregated Descriptors [6.470466745237234]
  そこで本研究では,CNNアクティベーションマップの画素ワイドアグリゲーションから得られた表現に基づいて,概念の自動抽出とローカライズを行う手法を提案する。 本稿では,主成分の画素単位のアノテーションを用いた合成データセットに基づく概念抽出手法の検証手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T14:25:23Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。