論文の概要: Data-Efficient Learning with Neural Programs

• arxiv url: http://arxiv.org/abs/2406.06246v2
• Date: Thu, 31 Oct 2024 14:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:02.135228
• Title: Data-Efficient Learning with Neural Programs
• Title（参考訳）: ニューラルネットワークによるデータ効率向上学習
• Authors: Alaia Solko-Breslin, Seewon Choi, Ziyang Li, Neelay Velingker, Rajeev Alur, Mayur Naik, Eric Wong,
• Abstract要約: 我々は,ブラックボックスコンポーネントの入力出力サンプルのみに依存する,ISEDと呼ばれるニューラルプログラムの学習アルゴリズムを提案する。 評価の結果,ISEDは最先端のニューロシンボリック・フレームワークに匹敵する性能を示した。
• 参考スコア（独自算出の注目度）: 16.060372321160695
• License:
• Abstract: Many computational tasks can be naturally expressed as a composition of a DNN followed by a program written in a traditional programming language or an API call to an LLM. We call such composites "neural programs" and focus on the problem of learning the DNN parameters when the training data consist of end-to-end input-output labels for the composite. When the program is written in a differentiable logic programming language, techniques from neurosymbolic learning are applicable, but in general, the learning for neural programs requires estimating the gradients of black-box components. We present an algorithm for learning neural programs, called ISED, that only relies on input-output samples of black-box components. For evaluation, we introduce new benchmarks that involve calls to modern LLMs such as GPT-4 and also consider benchmarks from the neurosymbolic learning literature. Our evaluation shows that for the latter benchmarks, ISED has comparable performance to state-of-the-art neurosymbolic frameworks. For the former, we use adaptations of prior work on gradient approximations of black-box components as a baseline, and show that ISED achieves comparable accuracy but in a more data- and sample-efficient manner.
• Abstract（参考訳）: 多くの計算タスクはDNNの合成として自然に表現され、その後に従来のプログラミング言語で書かれたプログラムやLLMへのAPI呼び出しが続く。 このようなコンポジットを「ニューラルプログラム」と呼び、トレーニングデータが合成のためのエンドツーエンドの入力出力ラベルで構成されている場合、DNNパラメータを学習する問題に焦点を当てる。 プログラムが微分可能な論理プログラム言語で書かれた場合、ニューロシンボリック学習の技法が適用できるが、一般的には、ニューラルネットワークの学習はブラックボックス成分の勾配を推定する必要がある。 我々は,ブラックボックスコンポーネントの入力出力サンプルのみに依存する,ISEDと呼ばれるニューラルプログラムの学習アルゴリズムを提案する。 評価のために, GPT-4 などの近代 LLM へのコールを含む新しいベンチマークを導入するとともに, ニューロシンボリックラーニング文献からのベンチマークも検討する。 後者のベンチマークでは,ISEDは最先端のニューロシンボリック・フレームワークに匹敵する性能を示した。 前者に対しては,ブラックボックス成分の勾配近似に関する先行研究をベースラインとして使用し,ISEDの精度は同等だが,よりデータ効率とサンプル効率のよい方法を示す。

関連論文リスト

• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Towards One-Shot Learning for Text Classification using Inductive Logic Programming [0.0]
  本稿では,単発テキスト分類のための帰納的論理プログラミング手法について検討する。 その結果,MILは少数の学習例からテキスト分類規則を学習できることが示唆された。
  論文  参考訳（メタデータ） (2023-08-30T09:04:06Z)
• An embedding for EEG signals learned using a triplet loss [0.0]
  脳-コンピュータインタフェース(BCI)では、デコードされた脳状態情報を最小の時間遅延で使用することができる。 このようなデコードタスクの課題は、小さなデータセットサイズによって引き起こされる。 神経生理学的データのための新しいドメイン特異的埋め込みを提案する。
  論文  参考訳（メタデータ） (2023-03-23T09:05:20Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• Unsupervised Learning of Neurosymbolic Encoders [40.3575054882791]
  本稿では,ニューロシンボリックエンコーダの教師なし学習のためのフレームワークを提案する。 このようなフレームワークは自然に記号的専門家の知識を学習プロセスに組み込むことができ、完全なニューラルエンコーダよりも解釈可能で分解可能な潜在表現をもたらす。
  論文  参考訳（メタデータ） (2021-07-28T02:16:14Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Improving Compositionality of Neural Networks by Decoding Representations to Inputs [83.97012077202882]
  我々は、ニューラルネットワークのアクティベーションを制約し、入力に"デコード"するように生成モデルを共同で訓練することで、従来のディープラーニングプログラムの利点を橋渡しする。 本稿では,デオード可能な表現の分布外検出,逆例,校正,公平性への応用を実証する。
  論文  参考訳（メタデータ） (2021-06-01T20:07:16Z)
• NeuralLog: Natural Language Inference with Joint Neural and Logical Reasoning [6.795509403707242]
  本稿では,単調性に基づく論理推論エンジンと,フレーズアライメントのためのニューラルネットワーク言語モデルの両方を利用するNeuralLogという推論フレームワークを提案する。 我々のフレームワークは,NLIタスクを古典的な探索問題としてモデル化し,ビーム探索アルゴリズムを用いて最適な推論経路を探索する。 実験により,我々のジョイントロジックとニューラル推論システムがNLIタスクの精度を改善し,SICKデータセットとMEDデータセットの最先端の精度を実現することが示された。
  論文  参考訳（メタデータ） (2021-05-29T01:02:40Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Beyond Graph Neural Networks with Lifted Relational Neural Networks [14.63152363481139]
  我々は,Lfted Neural Networks の言語に基づく宣言型微分可能プログラミングフレームワークを実演する。 小さなパラメータ化プログラムは学習を符号化するために使用される。 このアイデアは、様々な高度なニューラルネットワークの効率的な符号化にどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-07-13T10:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。