論文の概要: Functional Indirection Neural Estimator for Better Out-of-distribution Generalization

• arxiv url: http://arxiv.org/abs/2210.12739v1
• Date: Sun, 23 Oct 2022 14:43:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:11:03.895374
• Title: Functional Indirection Neural Estimator for Better Out-of-distribution Generalization
• Title（参考訳）: 分布外一般化のための機能的間接神経推定器
• Authors: Kha Pham, Hung Le, Man Ngo, and Truyen Tran
• Abstract要約: FINE(Functional Indirection Neural Estorimator)は、入力されたデータをオンザフライで出力する関数を構成することを学ぶ。 我々は、MNIST、Omniglot、CIFAR100データセットの画像を用いて、IQタスク上でFINEと競合するモデルを訓練する。 FINEはすべてのタスクで最高のパフォーマンスを達成するだけでなく、小さなデータシナリオにも適応できる。
• 参考スコア（独自算出の注目度）: 27.291114360472243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The capacity to achieve out-of-distribution (OOD) generalization is a hallmark of human intelligence and yet remains out of reach for machines. This remarkable capability has been attributed to our abilities to make conceptual abstraction and analogy, and to a mechanism known as indirection, which binds two representations and uses one representation to refer to the other. Inspired by these mechanisms, we hypothesize that OOD generalization may be achieved by performing analogy-making and indirection in the functional space instead of the data space as in current methods. To realize this, we design FINE (Functional Indirection Neural Estimator), a neural framework that learns to compose functions that map data input to output on-the-fly. FINE consists of a backbone network and a trainable semantic memory of basis weight matrices. Upon seeing a new input-output data pair, FINE dynamically constructs the backbone weights by mixing the basis weights. The mixing coefficients are indirectly computed through querying a separate corresponding semantic memory using the data pair. We demonstrate empirically that FINE can strongly improve out-of-distribution generalization on IQ tasks that involve geometric transformations. In particular, we train FINE and competing models on IQ tasks using images from the MNIST, Omniglot and CIFAR100 datasets and test on tasks with unseen image classes from one or different datasets and unseen transformation rules. FINE not only achieves the best performance on all tasks but also is able to adapt to small-scale data scenarios.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化を実現する能力は人間の知能の目印であり、マシンには及ばない。 この驚くべき能力は、概念的な抽象化とアナロジーを作る能力と、2つの表現を結合し、一方の表現を他方に参照する間接性として知られるメカニズムに起因している。 これらのメカニズムに着想を得て、OODの一般化は、現在の方法のようにデータ空間ではなく、関数空間で類似性や間接性を実行することによって達成できると仮定する。 これを実現するために、我々は、データ入力をオンザフライ出力にマッピングする関数を構成することを学ぶニューラルネットワークフレームワークである fine (functional indirection neural estimator) を設計した。 FINEはバックボーンネットワークとベースウェイト行列のトレーニング可能なセマンティックメモリで構成されている。 新しい入出力データペアを見るとき、FINEは基底重みを混合することでバックボーン重みを動的に構築する。 混合係数は、データ対を用いて別個の対応するセマンティクスメモリに問い合わせることで間接的に計算される。 我々はFINEが幾何変換を含むIQタスクの分布外一般化を強く改善できることを実証的に示す。 特に、MNIST、Omniglot、CIFAR100データセットの画像を使用して、IQタスク上でFINEと競合するモデルをトレーニングし、1つまたは異なるデータセットから目に見えないイメージクラスでタスクをテストする。 FINEはすべてのタスクで最高のパフォーマンスを達成するだけでなく、小さなデータシナリオにも適応できる。

関連論文リスト

• MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data [22.262191225577244]
  科学的基礎モデル(SFM)にも同様のアプローチが適用できるかどうかを考察する。 数学辞書の任意の線形結合によって構築された偏微分方程式(PDE)の解の形で、低コストな物理情報ニューラルネットワーク(PINN)に基づく近似された事前データを収集する。 本研究では,1次元対流拡散反応方程式に関する実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-09T00:52:00Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier Features For Neuro-Symbolic Relational Learning [2.28438857884398]
  適応線形モデルをデコーダとして用いたエンコーダにランダムに描画された未学習重みを組み込んだランダム重み付き特徴ネットワークを提案する。 この特殊表現により、RWFNは線形デコーダモデルのみを訓練することで、入力間の関係の度合いを効果的に学習することができる。 LTNと比較して、RWFNsはオブジェクト分類とSIIタスクにおけるオブジェクト間の部分関係の検出の両方において、より良い、あるいは類似した性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-09-11T22:45:08Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。