論文の概要: Combining Induction and Transduction for Abstract Reasoning

• arxiv url: http://arxiv.org/abs/2411.02272v4
• Date: Mon, 02 Dec 2024 12:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:58.704741
• Title: Combining Induction and Transduction for Abstract Reasoning
• Title（参考訳）: 抽象推論のためのインダクションとトランスダクションの組み合わせ
• Authors: Wen-Ding Li, Keya Hu, Carter Larsen, Yuqing Wu, Simon Alford, Caleb Woo, Spencer M. Dunn, Hao Tang, Michelangelo Naim, Dat Nguyen, Wei-Long Zheng, Zenna Tavares, Yewen Pu, Kevin Ellis,
• Abstract要約: 我々は、ARC上で誘導(潜伏関数の推論)および伝達(与えられたテスト入力に対するテスト出力を直接予測する)のためにニューラルネットワークを訓練する。 インダクティブモデルとトランスダクティブモデルは、同じトレーニング問題を持ち、同じニューラルアーキテクチャを共有するにもかかわらず、さまざまな種類のテスト問題を解決する。
• 参考スコア（独自算出の注目度）: 13.399370315305408
• License:
• Abstract: When learning an input-output mapping from very few examples, is it better to first infer a latent function that explains the examples, or is it better to directly predict new test outputs, e.g. using a neural network? We study this question on ARC by training neural models for induction (inferring latent functions) and transduction (directly predicting the test output for a given test input). We train on synthetically generated variations of Python programs that solve ARC training tasks. We find inductive and transductive models solve different kinds of test problems, despite having the same training problems and sharing the same neural architecture: Inductive program synthesis excels at precise computations, and at composing multiple concepts, while transduction succeeds on fuzzier perceptual concepts. Ensembling them approaches human-level performance on ARC.
• Abstract（参考訳）: ごく少数の例からインプット・アウトプットマッピングを学ぶとき、まず例を説明する潜在関数を推論した方がよいのか、それともニューラルネットワークを使って新しいテスト出力を直接予測した方がよいのか? 本稿では,帰納的関数(潜在関数)と帰納的関数(与えられたテスト入力に対するテスト出力を直接予測する)のニューラルモデルを用いて,ARCに関するこの問題を考察する。 我々は、ARCトレーニングタスクを解決するPythonプログラムの、合成的に生成されたバリエーションを訓練する。 帰納的および帰納的モデルは、同じトレーニング問題を持ち、同じニューラルアーキテクチャを共有するにもかかわらず、異なる種類のテスト問題を解決する。 ARC上での人間レベルのパフォーマンスにアプローチする。

関連論文リスト

• VaiBot: Shuttle Between the Instructions and Parameters of Large Language Models [22.676819780878198]
  本稿では、推論タスクと帰納タスクの両方を均一にモデル化し、学習し、推論するように設計された、VAEとVIBを統合したニューラルネットワークフレームワークであるVaiBotを提案する。 VaiBotが既存のベースラインメソッドと同等に動作し、インダクティブ能力でそれらをはるかに上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-04T13:36:54Z)
• A physics-informed transformer neural operator for learning generalized solutions of initial boundary value problems [0.0]
  我々は物理インフォームド・トランスフォーマー・ニューラル演算子(PINTO)を開発し、初期条件と境界条件を効率的に一般化する。 PINTOアーキテクチャは、エンジニアリングアプリケーションで使われる重要な方程式の解をシミュレートするために用いられる。 我々のモデルは、トレーニングコロケーションポイントに含まれない時間ステップにおける対流とバーガースの方程式を正確に解くことができる。
  論文  参考訳（メタデータ） (2024-12-12T07:22:02Z)
• Interpretable Language Modeling via Induction-head Ngram Models [74.26720927767398]
  誘導ヘッドngramモデル(Induction-Gram)を提案する。 この誘導ヘッドは、カスタムのニューラル類似度メトリックを使用して、モデルの入力コンテキストを効率的に検索し、潜在的に次の単語補完を行う。 実験により,本手法はベースラインの解釈可能なモデルよりも,単語の次単語予測を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-10-31T12:33:26Z)
• Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
  ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。 これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。 本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T09:47:29Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• ECINN: Efficient Counterfactuals from Invertible Neural Networks [80.94500245955591]
  本稿では, 画像分類における可逆ニューラルネットワークの生成能力を利用して, 対実例を効率的に生成する手法ECINNを提案する。 ECINNはクローズドフォーム表現を持ち、たった2つの評価の時点で反事実を生成する。 私たちの実験では、ECINNがクラス依存イメージ領域を変更して、反現実の知覚的および予測的クラスを変更する方法を示す。
  論文  参考訳（メタデータ） (2021-03-25T09:23:24Z)
• PAC-learning gains of Turing machines over circuits and neural networks [1.4502611532302039]
  私達は最低記述の長さの原則を持って来ることができるサンプル効率の潜在的な利益を研究します。 我々はチューリングマシンを用いて普遍的なモデルと回路を表現する。 回路の複雑さと密接性における古典的オープン問題との密接な関係を浮き彫りにする。
  論文  参考訳（メタデータ） (2021-03-23T17:03:10Z)
• Extremal learning: extremizing the output of a neural network in regression problems [0.0]
  我々は、回帰問題において、トレーニングされたニューラルネットワークのエクストリームを効率的に見つける方法を示す。 近似モデルの極限入力を見つけることは、追加のニューラルネットワークのトレーニングとして定式化される。
  論文  参考訳（メタデータ） (2021-02-06T18:01:17Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。