論文の概要: Untrained neural networks can demonstrate memorization-independent abstract reasoning

• arxiv url: http://arxiv.org/abs/2407.17791v2
• Date: Fri, 08 Nov 2024 13:45:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 18:11:13.372649
• Title: Untrained neural networks can demonstrate memorization-independent abstract reasoning
• Title（参考訳）: トレーニングされていないニューラルネットワークは記憶に依存しない抽象的推論を証明できる
• Authors: Tomer Barak, Yonatan Loewenstein,
• Abstract要約: 本研究では,ANNのツールボックスを用いて,事前学習なしに抽象的推論が達成できるかどうかを検討する。 視覚的推論問題に対してこのモデリング手法を検証したところ、比較的よく機能していることが判明した。 ANNの重みを変えることで問題解決を行うため、ANNにおける問題解決と知識の蓄積との関係について検討した。
• 参考スコア（独自算出の注目度）: 0.30693357740321775
• License:
• Abstract: The nature of abstract reasoning is a matter of debate. Modern artificial neural network (ANN) models, like large language models, demonstrate impressive success when tested on abstract reasoning problems. However, it has been argued that their success reflects some form of memorization of similar problems (data contamination) rather than a general-purpose abstract reasoning capability. This concern is supported by evidence of brittleness, and the requirement of extensive training. In our study, we explored whether abstract reasoning can be achieved using the toolbox of ANNs, without prior training. Specifically, we studied an ANN model in which the weights of a naive network are optimized during the solution of the problem, using the problem data itself, rather than any prior knowledge. We tested this modeling approach on visual reasoning problems and found that it performs relatively well. Crucially, this success does not rely on memorization of similar problems. We further suggest an explanation of how it works. Finally, as problem solving is performed by changing the ANN weights, we explored the connection between problem solving and the accumulation of knowledge in the ANNs.
• Abstract（参考訳）: 抽象的推論の性質は議論の問題である。 現代の人工知能ニューラルネットワーク(ANN)モデルは、大きな言語モデルと同様に、抽象的推論問題をテストすることで、素晴らしい成功を収めた。 しかし、それらの成功は、汎用的な抽象的推論能力ではなく、類似した問題(データの汚染)を記憶する何らかの形態を反映していると論じられている。 この懸念は、脆さの証拠と広範な訓練の必要性によって裏付けられている。 本研究では,ANNのツールボックスを用いて,事前学習なしに抽象的推論が達成できるかどうかを検討した。 具体的には,従来の知識ではなく,問題データ自体を用いて,ナイーブネットワークの重み付けを問題の解決時に最適化するANNモデルについて検討した。 視覚的推論問題に対して, このモデリング手法を検証したところ, 比較的よく機能していることがわかった。 重要なことに、この成功は同様の問題の記憶に頼らない。 さらに、それがどのように機能するかを説明します。 最後に、ANN重みを変更して問題解決を行うため、ANNにおける問題解決と知識の蓄積との関係について検討した。

関連論文リスト

• Reasoning Paths Optimization: Learning to Reason and Explore From Diverse Paths [69.39559168050923]
  本稿では,多様な経路から学習の推論と探索を可能にするReasoning Paths Optimization (RPO)を紹介する。 提案手法は,各推論ステップにおいて好意的な分岐を奨励し,好ましくない分岐を罰し,モデル全体の問題解決性能を高める。 我々は,数語問題や理科ベースの試験問題など,多段階の推論タスクに焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-07T06:37:25Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Abstraction, Reasoning and Deep Learning: A Study of the "Look and Say" Sequence [0.0]
  ディープニューラルネットワークは、大規模なデータセットでトレーニングされた場合、高い能力(精度で測定される)を示すことができる。 パズルデータ「Look and Say」の2つのセット実験について報告する。 トレーニングデータとテストデータの両方で)驚くべき精度にもかかわらず、実際のL&Sシーケンス上でのトレーニングプログラムのパフォーマンスは悪いです。
  論文  参考訳（メタデータ） (2021-09-27T01:41:37Z)
• Dealing with Missing Modalities in the Visual Question Answer-Difference Prediction Task through Knowledge Distillation [75.1682163844354]
  我々は,視覚的質問応答拡散予測タスクから生じる欠落モダリティの問題に対処する。 本稿では,イメージ/質問/回答トリプレットを入力として,ベースラインを上回る「大きな」教師モデルを紹介する。
  論文  参考訳（メタデータ） (2021-04-13T06:41:11Z)
• Solving the Same-Different Task with Convolutional Neural Networks [13.658244210412352]
  私たちは、現在の最新の畳み込みニューラルネットワークを、同じ異なる問題と呼ばれる困難なタスクセットで調査します。 すべての問題は、同じ画像内の2つのランダムな形状が同じかどうかを理解するという、同じ前提条件を正しく解く必要がある。 本研究で実施した実験により, 残差接続, より一般的にはスキップ接続は, 提案した問題の学習に限られた影響しか与えないことを示した。
  論文  参考訳（メタデータ） (2021-01-22T14:35:33Z)
• SMART: A Situation Model for Algebra Story Problems via Attributed Grammar [74.1315776256292]
  本稿では, 問題解決における人間の精神状態を表現する心理学研究から生まれた, emphsituation modelの概念を紹介する。 提案モデルでは,より優れた解釈性を保ちながら,従来のすべてのニューラルソルバを大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2020-12-27T21:03:40Z)
• Explain by Evidence: An Explainable Memory-based Neural Network for Question Answering [41.73026155036886]
  本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。 データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。 本モデルは,2つの質問応答データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-11-05T21:18:21Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。