論文の概要: Improving Compositionality of Neural Networks by Decoding Representations to Inputs

• arxiv url: http://arxiv.org/abs/2106.00769v1
• Date: Tue, 1 Jun 2021 20:07:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-05 09:33:43.074207
• Title: Improving Compositionality of Neural Networks by Decoding Representations to Inputs
• Title（参考訳）: 入力表現の復号化によるニューラルネットワークの構成性向上
• Authors: Mike Wu, Noah Goodman, Stefano Ermon
• Abstract要約: 我々は、ニューラルネットワークのアクティベーションを制約し、入力に"デコード"するように生成モデルを共同で訓練することで、従来のディープラーニングプログラムの利点を橋渡しする。 本稿では,デオード可能な表現の分布外検出,逆例,校正,公平性への応用を実証する。
• 参考スコア（独自算出の注目度）: 83.97012077202882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In traditional software programs, we take for granted how easy it is to debug code by tracing program logic from variables back to input, apply unit tests and assertion statements to block erroneous behavior, and compose programs together. But as the programs we write grow more complex, it becomes hard to apply traditional software to applications like computer vision or natural language. Although deep learning programs have demonstrated strong performance on these applications, they sacrifice many of the functionalities of traditional software programs. In this paper, we work towards bridging the benefits of traditional and deep learning programs by jointly training a generative model to constrain neural network activations to "decode" back to inputs. Doing so enables practitioners to probe and track information encoded in activation(s), apply assertion-like constraints on what information is encoded in an activation, and compose separate neural networks together in a plug-and-play fashion. In our experiments, we demonstrate applications of decodable representations to out-of-distribution detection, adversarial examples, calibration, and fairness -- while matching standard neural networks in accuracy.
• Abstract（参考訳）: 従来のソフトウェアプログラムでは、変数から入力までプログラムロジックをトレースし、ユニットテストとアサーションステートメントを適用して誤った振る舞いをブロックし、プログラムを一緒に構成することで、コードのデバッグがいかに簡単かを考慮します。 しかし、プログラムが複雑化するにつれて、コンピュータビジョンや自然言語のようなアプリケーションに従来のソフトウェアを適用するのは難しくなります。 ディープラーニングプログラムはこれらのアプリケーションで強いパフォーマンスを示しているが、従来のソフトウェアプログラムの機能の多くを犠牲にしている。 本稿では,ニューラルネットワークのアクティベーションを"デコード"に制約するために,生成モデルを共同でトレーニングすることにより,従来型および深層学習プログラムの利点を橋渡しする。 そうすることで、実践者はアクティベーションで符号化された情報を探索し追跡し、アクティベーションで符号化された情報にアサーションのような制約を適用し、プラグインとプレイで別々のニューラルネットワークを構成することができる。 実験では、分散検出、逆例、キャリブレーション、公平性に対するデコダラブル表現の応用を、標準ニューラルネットワークの精度と一致させながら実証する。

関連論文リスト

• COOL: A Constraint Object-Oriented Logic Programming Language and its Neural-Symbolic Compilation System [0.0]
  我々は論理的推論とニューラルネットワーク技術をシームレスに組み合わせたCOOLプログラミング言語を紹介した。 COOLはデータ収集を自律的に処理するために設計されており、ユーザから供給される初期データの必要性を軽減している。 ユーザプロンプトをコーディングプロセスに組み込んで、トレーニング中のリスクを低減し、ライフサイクルを通じてモデル間のインタラクションを強化する。
  論文  参考訳（メタデータ） (2023-11-07T06:29:59Z)
• Enhancing Network Management Using Code Generated by Large Language Models [15.557254786007325]
  本稿では,大規模言語モデル(LLM)を用いて自然言語クエリからタスク固有コードを生成することにより,自然言語ベースのネットワーク管理エクスペリエンスを促進する新しいアプローチを提案する。 この方法は、ネットワークオペレーターが生成されたコードを検査できるようにすることで、説明可能性、スケーラビリティ、プライバシの課題に取り組む。 ベンチマークアプリケーションを用いてプロトタイプシステムを設計,評価し,高い精度,コスト効率,さらなる拡張の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-11T17:49:15Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Unsupervised Learning of Neurosymbolic Encoders [40.3575054882791]
  本稿では,ニューロシンボリックエンコーダの教師なし学習のためのフレームワークを提案する。 このようなフレームワークは自然に記号的専門家の知識を学習プロセスに組み込むことができ、完全なニューラルエンコーダよりも解釈可能で分解可能な潜在表現をもたらす。
  論文  参考訳（メタデータ） (2021-07-28T02:16:14Z)
• Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
  本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。 より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
  論文  参考訳（メタデータ） (2021-07-13T03:48:04Z)
• Neurocoder: Learning General-Purpose Computation Using Stored Neural Programs [64.56890245622822]
  ニューロコーダ(Neurocoder)は、汎用計算機の全く新しいクラスである。 共有可能なモジュール型プログラムのセットから関連するプログラムを構成することで、データ応答性のある方法で“コード”を行う。 モジュールプログラムを学習し、パターンシフトを厳しく処理し、新しいプログラムが学習されると、古いプログラムを記憶する新しい能力を示す。
  論文  参考訳（メタデータ） (2020-09-24T01:39:16Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。