論文の概要: Representation Synthesis by Probabilistic Many-Valued Logic Operation in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2309.04148v3
• Date: Thu, 03 Oct 2024 03:55:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 23:29:43.610489
• Title: Representation Synthesis by Probabilistic Many-Valued Logic Operation in Self-Supervised Learning
• Title（参考訳）: 自己教師付き学習における確率的多値論理演算による表現合成
• Authors: Hiroki Nakamura, Masashi Okada, Tadahiro Taniguchi,
• Abstract要約: 本稿では,論理操作が可能な表現のための自己教師付き学習(SSL)手法を提案する。 本手法では,両表現の特徴を持つ表現や,両表現に共通する特徴のみを生成できる。 MNIST と PascalVOC を用いた画像検索実験により,本手法の表現をOR と操作で操作できることが判明した。
• 参考スコア（独自算出の注目度）: 9.339914898177186
• License:
• Abstract: In this paper, we propose a new self-supervised learning (SSL) method for representations that enable logic operations. Representation learning has been applied to various tasks, such as image generation and retrieval. The logical controllability of representations is important for these tasks. Although some methods have been shown to enable the intuitive control of representations using natural languages as the inputs, representation control via logic operations between representations has not been demonstrated. Some SSL methods using representation synthesis (e.g., elementwise mean and maximum operations) have been proposed, but the operations performed in these methods do not incorporate logic operations. In this work, we propose a logic-operable self-supervised representation learning method by replacing the existing representation synthesis with the OR operation on the probabilistic extension of many-valued logic. The representations comprise a set of feature-possession degrees, which are truth values indicating the presence or absence of each feature in the image, and realize the logic operations (e.g., OR and AND). Our method can generate a representation that has the features of both representations or only those features common to both representations. In addition, the expression of the ambiguous presence of a feature is realized by indicating the feature-possession degree by the probability distribution of truth values of the many-valued logic. We showed that our method performs competitively in single and multi-label classification tasks compared with prior SSL methods using synthetic representations. Moreover, experiments on image retrieval using MNIST and PascalVOC showed that the representations of our method can be operated by OR and AND operations.
• Abstract（参考訳）: 本稿では,論理操作が可能な表現のための自己教師付き学習(SSL)手法を提案する。 画像生成や検索といった様々なタスクに表現学習が適用されている。 表現の論理的制御性はこれらのタスクにとって重要である。 自然言語を入力として表現の直感的な制御を可能にする方法がいくつか示されているが、表現間の論理操作による表現制御は実証されていない。 表現合成を用いたSSL手法(例えば、要素平均演算と最大演算)が提案されているが、これらの手法で実行される演算には論理演算が組み込まれていない。 本研究では,既存の表現合成を,多値論理の確率的拡張におけるOR演算に置き換えることで,論理操作可能な自己教師付き表現学習手法を提案する。 画像中の各特徴の有無を示す真理値であり、論理演算(例えば、OR、AND)を実現する。 本手法では,両表現の特徴を持つ表現や,両表現に共通する特徴のみを生成できる。 また、多値論理の真理値の確率分布によって特徴量を示すことにより、特徴の曖昧な存在表現を実現する。 提案手法は,合成表現を用いた従来のSSL方式と比較して,シングルラベルとマルチラベルの分類タスクにおいて競合的に動作することを示した。 さらに,MNIST と PascalVOC を用いた画像検索実験により,提案手法の表現をOR および操作により操作可能であることを示した。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Labeling Neural Representations with Inverse Recognition [25.867702786273586]
  Inverse Recognition (INVERT)は、学習した表現と人間の理解可能な概念を結びつけるためのスケーラブルなアプローチである。 以前の研究とは対照的に、INVERTは多様な種類のニューロンを処理でき、計算の複雑さが小さく、セグメンテーションマスクの可用性に依存しない。 本稿では,様々なシナリオにおけるINVERTの適用性を示す。
  論文  参考訳（メタデータ） (2023-11-22T18:55:25Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Evaluating Step-by-Step Reasoning through Symbolic Verification [20.156768135017007]
  事前学習言語モデル(LM)は、文脈内学習において顕著な推論性能を示した。 LMLPは、より小さなモデルサイズであっても、長さの一般化ベンチマークにおいて、チェーン・オブ・ソート(CoT)よりも25%以上精度が高い。
  論文  参考訳（メタデータ） (2022-12-16T19:30:01Z)
• OPERA:Operation-Pivoted Discrete Reasoning over Text [33.36388276371693]
  OPERA(オペラ)は、機械読解のための操作駆動型離散推論フレームワークである。 推論能力と解釈可能性を促進するために、軽量なシンボル操作をニューラルモジュールとして使用する。 DROPとRACENumのデータセットの実験は、OPERAの推論能力を示している。
  論文  参考訳（メタデータ） (2022-04-29T15:41:47Z)
• SimSR: Simple Distance-based State Representation for Deep Reinforcement Learning [14.626797887000901]
  本研究は, 深部強化学習手法を用いた画像ベース観測から, 頑健で一般化可能な状態表現の学習方法について検討する。 SimSR(Simple State Representation, SimSR)演算子を設計し, 実測値との比較により, 近似順序で同等の機能を実現する。 我々のモデルは一般により良い性能を達成し、より良い堅牢性と優れた一般化を持つ。
  論文  参考訳（メタデータ） (2021-12-31T04:39:54Z)
• Unifying AI Algorithms with Probabilistic Programming using Implicitly Defined Representations [0.2580765958706854]
  Scruffは確率的プログラミングを使ってAIシステムを開発するための新しいフレームワークである。 選択可能なコード、ニューラルネットワーク、微分方程式、制約システムなど、さまざまな表現を含めることができる。 私たちは、比較的小さな操作セットが、さまざまなAIアルゴリズムを統合するのにどのように役立つかを示します。
  論文  参考訳（メタデータ） (2021-10-05T19:49:30Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Model-free Representation Learning and Exploration in Low-rank MDPs [64.72023662543363]
  低位mdpに対して,最初のモデルフリー表現学習アルゴリズムを提案する。 主要なアルゴリズムの貢献は新しいミニマックス表現の学習の目的です。 結果は複雑な環境にスケールする一般的な関数近似を収容できます。
  論文  参考訳（メタデータ） (2021-02-14T00:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。