論文の概要: The Relational Bottleneck as an Inductive Bias for Efficient Abstraction

• arxiv url: http://arxiv.org/abs/2309.06629v5
• Date: Wed, 1 May 2024 05:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 20:21:02.435920
• Title: The Relational Bottleneck as an Inductive Bias for Efficient Abstraction
• Title（参考訳）: 効率的な抽象化のための誘導バイアスとしてのリレーショナルボトルネック
• Authors: Taylor W. Webb, Steven M. Frankland, Awni Altabaa, Simon Segert, Kamesh Krishnamurthy, Declan Campbell, Jacob Russin, Tyler Giallanza, Zack Dulberg, Randall O'Reilly, John Lafferty, Jonathan D. Cohen,
• Abstract要約: ニューラルネットワークはアーキテクチャを通して、個々の入力の属性ではなく、知覚的入力間の関係に焦点を絞っていることを示す。 データ効率のよい方法で抽象化を誘導するために、このアプローチを用いたモデルのファミリーをレビューする。
• 参考スコア（独自算出の注目度）: 3.19883356005403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge for cognitive science is to explain how abstract concepts are acquired from limited experience. This has often been framed in terms of a dichotomy between connectionist and symbolic cognitive models. Here, we highlight a recently emerging line of work that suggests a novel reconciliation of these approaches, by exploiting an inductive bias that we term the relational bottleneck. In that approach, neural networks are constrained via their architecture to focus on relations between perceptual inputs, rather than the attributes of individual inputs. We review a family of models that employ this approach to induce abstractions in a data-efficient manner, emphasizing their potential as candidate models for the acquisition of abstract concepts in the human mind and brain.
• Abstract（参考訳）: 認知科学における中心的な課題は、抽象概念が限られた経験からどのように獲得されるかを説明することである。 これはコネクショニストとシンボリック認知モデルの間の二分法という観点で表されることが多い。 ここでは、リレーショナルボトルネックと呼ばれる帰納的バイアスを活用することによって、これらのアプローチの新たな和解を示唆する最近の研究のラインを強調します。 このアプローチでは、ニューラルネットワークはアーキテクチャを通じて制約され、個々の入力の属性ではなく、知覚的な入力間の関係に焦点を当てる。 我々は、この手法を用いて抽象概念をデータ効率で誘導するモデル群をレビューし、人間の心と脳における抽象概念の獲得の候補モデルとしての可能性を強調した。

関連論文リスト

• Abstraction Alignment: Comparing Model and Human Conceptual Relationships [26.503178592074757]
  モデルが学習した抽象と期待される人間の抽象との一致を測定する手法である抽象アライメントを導入する。 評価タスクでは、抽象化アライメントがモデルの振る舞いとデータセットの内容をより深く理解します。
  論文  参考訳（メタデータ） (2024-07-17T13:27:26Z)
• Automatic Discovery of Visual Circuits [66.99553804855931]
  本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。 提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T17:00:57Z)
• A Relational Inductive Bias for Dimensional Abstraction in Neural Networks [3.5063551678446494]
  本稿では,関係ボトルネックが合成符号化による因子化表現の学習に与える影響について検討する。 このようなボトルネックは、一般化と学習効率の向上だけでなく、ネットワーク性能と人間の行動バイアスの整合性も示している。
  論文  参考訳（メタデータ） (2024-02-28T15:51:05Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• A Cognitively-Inspired Neural Architecture for Visual Abstract Reasoning Using Contrastive Perceptual and Conceptual Processing [14.201935774784632]
  人間の認知に触発された視覚的抽象的推論タスクを解決するための新しいニューラルアーキテクチャを提案する。 この原則にインスパイアされたアーキテクチャは、反復的で自己コントラストの学習プロセスとして、視覚的抽象的推論をモデル化します。 機械学習データセットRAVENの実験は、CPCNetが以前公開されたすべてのモデルよりも高い精度を達成することを示している。
  論文  参考訳（メタデータ） (2023-09-19T11:18:01Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Learning Representations that Support Extrapolation [39.84463809100903]
  我々は外挿を支援する表現を学習する上での課題について考察する。 本稿では,外挿の段階的評価を可能にする新しい視覚的類似性ベンチマークを提案する。 また、オブジェクト間の関係を強調する表現を促進するシンプルな手法である時間的文脈正規化を導入する。
  論文  参考訳（メタデータ） (2020-07-09T20:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。