論文の概要: Neural Feature-Adaptation for Symbolic Predictions Using Pre-Training
and Semantic Loss
- arxiv url: http://arxiv.org/abs/2211.16047v1
- Date: Tue, 29 Nov 2022 09:34:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 15:39:19.908473
- Title: Neural Feature-Adaptation for Symbolic Predictions Using Pre-Training
and Semantic Loss
- Title（参考訳）: 事前学習と意味損失を用いたシンボリック予測のためのニューラル特徴適応
- Authors: Vedant Shah, Aditya Agrawal, Lovekesh Vig, Ashwin Srinivasan, Gautam
Shroff, Tanmay Verlekar
- Abstract要約: 我々は,人間の理解不能な概念の観点から説明可能な予測を行うための高レベルな記号層からなるニューロシンボリックシステムに興味を持っている。
NEUROLOGは、既存の特徴ベースのシンボルモデルで生データから特徴値の抽出をガイドできる意味損失関数の使用を提案した。
NEUROLOG法は, 特徴量に関する事前情報がないと, 実質的に不正確な特徴量予測であっても, 正確な予測を継続できることを示す。
- 参考スコア（独自算出の注目度）: 19.069832241910742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We are interested in neurosymbolic systems consisting of a high-level
symbolic layer for explainable prediction in terms of human-intelligible
concepts; and a low-level neural layer for extracting symbols required to
generate the symbolic explanation. Real data is often imperfect meaning that
even if the symbolic theory remains unchanged, we may still need to address the
problem of mapping raw data to high-level symbols, each time there is a change
in the data acquisition environment or equipment. Manual (re-)annotation of the
raw data each time this happens is laborious and expensive; and automated
labelling methods are often imperfect, especially for complex problems.
NEUROLOG proposed the use of a semantic loss function that allows an existing
feature-based symbolic model to guide the extraction of feature-values from raw
data, using `abduction'. However, the experiments demonstrating the use of
semantic loss through abduction appear to rely heavily on a domain-specific
pre-processing step that enables a prior delineation of feature locations in
the raw data. We examine the use of semantic loss in domains where such
pre-processing is not possible, or is not obvious. We show that without any
prior information about the features, the NEUROLOG approach can continue to
predict accurately even with substantially incorrect feature predictions. We
show also that prior information about the features in the form of even
imperfect pre-training can help correct this situation. These findings are
replicated on the original problem considered by NEUROLOG, without the use of
feature-delineation. This suggests that symbolic explanations constructed for
data in a domain could be re-used in a related domain, by `feature-adaptation'
of pre-trained neural extractors using the semantic loss function constrained
by abductive feedback.
- Abstract（参考訳）: 我々は,人間の理解不能な概念から説明可能な予測を行う高レベルなシンボル層と,その説明を生成するために必要なシンボルを抽出する低レベルなニューラル層とからなるニューロシンボリックシステムに興味を持っている。
実データはしばしば不完全であり、たとえ記号理論が変わらずであっても、データ取得環境や機器に変化があるたびに、生データを高レベルなシンボルにマッピングする問題に対処する必要がある。
これが起こるたびに生データを手動で(再)注釈付けすることは面倒で高価であり、特に複雑な問題に対して自動ラベリング手法は不完全であることが多い。
NEUROLOGは、'abduction'を使って、既存の特徴ベースのシンボルモデルで生データから特徴値の抽出をガイドできる意味損失関数の使用を提案した。
しかし, 減量による意味的損失の活用を実証する実験は, 原データ中の特徴位置の事前記述を可能にする, ドメイン固有の前処理ステップに大きく依存しているように見える。
このような前処理が不可能あるいは明確でない領域における意味的損失の使用について検討する。
NEUROLOGの手法は,機能に関する事前情報がないと,実質的に不正確な特徴予測であっても,正確な予測を継続できることを示す。
また,不完全な事前学習という形での機能に関する事前情報は,この状況の修正に役立つことを示す。
これらの知見は,NEUROLOGが特徴記述を用いることなく,元の問題を再現した。
このことは、帰納的フィードバックに制約された意味的損失関数を用いて、事前学習された神経抽出器の「機能適応」によって、ドメイン内のデータのために構築された記号的説明を関連ドメインで再利用できることを示唆している。
関連論文リスト
- Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - Random Feature Amplification: Feature Learning and Generalization in
Neural Networks [44.431266188350655]
勾配降下法により訓練された2層ReLUネットワークにおける特徴学習過程の特徴付けを行う。
線形分類器は分布のランダムな推定に勝るものの,勾配降下により訓練された2層ReLUネットワークはラベルノイズ率に近い一般化誤差を達成できることを示す。
論文 参考訳（メタデータ） (2022-02-15T18:18:22Z) - A heteroencoder architecture for prediction of failure locations in
porous metals using variational inference [1.2722697496405462]
多孔質金属張力試験片の故障箇所を予測するために,エンコーダ・デコーダ畳み込みニューラルネットワークを用いた。
故障箇所の予測の目的は、標本中のほとんどの材料が故障しないため、クラス不均衡の極端なケースを示す。
得られた予測分散は、任意の標本において最も失敗する可能性のある位置のランク付けに有効であることを示す。
論文 参考訳（メタデータ） (2022-01-31T20:26:53Z) - On Codomain Separability and Label Inference from (Noisy) Loss Functions [11.780563744330038]
本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。
一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
論文 参考訳（メタデータ） (2021-07-07T05:29:53Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Representation Learning for Sequence Data with Deep Autoencoding
Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。
我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。
提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文 参考訳（メタデータ） (2020-10-07T03:34:01Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳（メタデータ） (2020-10-02T15:21:37Z) - Implicit Geometric Regularization for Learning Shapes [34.052738965233445]
生データから直接高忠実度暗黙的ニューラル表現を計算するための新しいパラダイムを提供する。
提案手法は,従来の手法と比較して,高い精度と忠実度を有する暗黙的ニューラル表現の状態を導出することを示す。
論文 参考訳（メタデータ） (2020-02-24T07:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。