論文の概要: CTL++: Evaluating Generalization on Never-Seen Compositional Patterns of
Known Functions, and Compatibility of Neural Representations
- arxiv url: http://arxiv.org/abs/2210.06350v1
- Date: Wed, 12 Oct 2022 16:01:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 12:07:47.209392
- Title: CTL++: Evaluating Generalization on Never-Seen Compositional Patterns of
Known Functions, and Compatibility of Neural Representations
- Title（参考訳）: CTL++:知識関数のNever-Seen合成パターンの一般化とニューラル表現の適合性の評価
- Authors: R\'obert Csord\'as, Kazuki Irie, J\"urgen Schmidhuber
- Abstract要約: シンボリック関数の合成に基づく新しい診断データセットであるCTL++を紹介する。
CTL++は、関数をグループに分割し、トレーニング中に見えない方法で構成されたグループ要素のパフォーマンスをテストする。
結果から、自然言語領域のより複雑な構成について報告された障害事例に関する洞察が得られる。
- 参考スコア（独自算出の注目度）: 8.131130865777344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Well-designed diagnostic tasks have played a key role in studying the failure
of neural nets (NNs) to generalize systematically. Famous examples include SCAN
and Compositional Table Lookup (CTL). Here we introduce CTL++, a new diagnostic
dataset based on compositions of unary symbolic functions. While the original
CTL is used to test length generalization or productivity, CTL++ is designed to
test systematicity of NNs, that is, their capability to generalize to unseen
compositions of known functions. CTL++ splits functions into groups and tests
performance on group elements composed in a way not seen during training. We
show that recent CTL-solving Transformer variants fail on CTL++. The simplicity
of the task design allows for fine-grained control of task difficulty, as well
as many insightful analyses. For example, we measure how much overlap between
groups is needed by tested NNs for learning to compose. We also visualize how
learned symbol representations in outputs of functions from different groups
are compatible in case of success but not in case of failure. These results
provide insights into failure cases reported on more complex compositions in
the natural language domain. Our code is public.
- Abstract（参考訳）: 良く設計された診断タスクは、ニューラルネットワーク(NN)の系統的一般化の失敗を研究する上で重要な役割を担っている。
有名な例として、SCAN や compositional Table Lookup (CTL) がある。
ここでは,ユニアリシンボリック関数の合成に基づく新しい診断データセットであるctl++を紹介する。
元のCTLは長さの一般化や生産性をテストするために使用されるが、CTL++はNNの体系性をテストするように設計されている。
ctl++は関数をグループに分割し、トレーニング中に見えない方法で構成されたグループ要素のパフォーマンスをテストする。
最近のCTL解決トランスフォーマーはCTL++では動作しないことを示す。
タスク設計の単純さは、多くの洞察に富んだ分析だけでなく、タスクの難しさのきめ細かい制御を可能にする。
例えば、構築する学習のために、テストされたNNによってグループ間の重複がどの程度必要かを測定する。
また、異なるグループからの関数の出力における学習されたシンボル表現が、成功しても失敗しても相容れないことを可視化する。
これらの結果は、自然言語領域のより複雑な構成について報告された障害事例に関する洞察を与える。
私たちのコードは公開されています。
関連論文リスト
- In-Context Learning Functions with Varying Number of Minima [3.3268674937926224]
最小値の異なる関数を近似する新しいタスクを提案する。
ミニマの数が増加するとICL性能が低下することがわかった。
同時に、我々はICLが2層ニューラルネットワーク(2NN)モデルより優れていることを示した。
論文 参考訳（メタデータ） (2023-11-21T11:33:03Z) - Function Vectors in Large Language Models [45.267194267587435]
自己回帰変換言語モデル(LM)内のベクトルとして入力出力関数を表す単純な神経機構の存在を報告する。
多様なコンテキスト内学習(ICL)タスクの因果媒介分析を用いて、少数の注意ヘッドがデモされたタスクのコンパクトな表現を伝達し、関数ベクトル(FV)と呼ぶ。
論文 参考訳（メタデータ） (2023-10-23T17:55:24Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。
本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
論文 参考訳（メタデータ） (2023-07-26T01:07:52Z) - Neuro-symbolic Models for Interpretable Time Series Classification using
Temporal Logic Description [6.38434293310427]
解釈可能な機械学習モデルは、データのパターンを発見し、ドメインの専門家に理解しやすい洞察を与えるのに役立つ。
本稿では、信号時間論理(STL)とニューラルネットワーク(NN)を活用してTSCタスクを実現するニューロシンボリック時系列分類(NSTSC)を提案する。
論文 参考訳（メタデータ） (2022-09-15T20:50:20Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - Logic Synthesis Meets Machine Learning: Trading Exactness for
Generalization [37.3380462457184]
我々は,IWLS 2020で実施した競技結果に基づいて,不完全特定関数を学習する。
このベンチマークスイートを利用可能にし、学習に対するさまざまなアプローチの詳細な比較分析を提供しています。
論文 参考訳（メタデータ） (2020-12-04T11:23:01Z) - Compositional Generalization via Neural-Symbolic Stack Machines [99.79811868836248]
合成一般化における制限に対処するためのNear-Symbolic Stack Machine (NeSS)を提案する。
NeSSは、ニューラルネットワークモデルの表現力と、シンボリックスタックマシンが支持する再帰を結合する。
NeSSは4つの領域で100%の一般化性能を達成する。
論文 参考訳（メタデータ） (2020-08-15T06:23:20Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Linguistically Driven Graph Capsule Network for Visual Question
Reasoning [153.76012414126643]
我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。
具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。
CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
論文 参考訳（メタデータ） (2020-03-23T03:34:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。