論文の概要: Out-of-distribution generalisation is hard: evidence from ARC-like tasks

• arxiv url: http://arxiv.org/abs/2505.09716v2
• Date: Fri, 16 May 2025 15:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 12:32:17.903332
• Title: Out-of-distribution generalisation is hard: evidence from ARC-like tasks
• Title（参考訳）: アウト・オブ・ディストリビューションの一般化は難しい:ARCのようなタスクによる証拠
• Authors: George Dimitriadis, Spyridon Samothrakis,
• Abstract要約: アウト・オブ・ディストリビューションの一般化は、人間と動物の知能の目印と考えられている。 合成一般化の正しい特徴を学習できないアルゴリズムがまだ存在することを示す。
• 参考スコア（独自算出の注目度）: 2.3020018305241337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) generalisation is considered a hallmark of human and animal intelligence. To achieve OOD through composition, a system must discover the environment-invariant properties of experienced input-output mappings and transfer them to novel inputs. This can be realised if an intelligent system can identify appropriate, task-invariant, and composable input features, as well as the composition methods, thus allowing it to act based not on the interpolation between learnt data points but on the task-invariant composition of those features. We propose that in order to confirm that an algorithm does indeed learn compositional structures from data, it is not enough to just test on an OOD setup, but one also needs to confirm that the features identified are indeed compositional. We showcase this by exploring two tasks with clearly defined OOD metrics that are not OOD solvable by three commonly used neural networks: a Multi-Layer Perceptron (MLP), a Convolutional Neural Network (CNN), and a Transformer. In addition, we develop two novel network architectures imbued with biases that allow them to be successful in OOD scenarios. We show that even with correct biases and almost perfect OOD performance, an algorithm can still fail to learn the correct features for compositional generalisation.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、人間と動物の知能の目印と考えられている。 構成によってOODを実現するためには、経験豊富な入出力マッピングの環境不変性を発見し、それらを新しい入力に転送する必要がある。 これは、インテリジェントシステムが適切な、タスク不変で構成可能な入力特徴と、構成法を識別できれば実現可能であり、学習したデータポイント間の補間ではなく、それらの特徴のタスク不変な合成に基づいて動作することができる。 我々は,アルゴリズムが実際にデータから構成構造を学習していることを確認するためには,OOD設定でのみテストするだけでは十分ではなく,識別された特徴が実際に構成構造であることを確認する必要があることを示唆する。 我々は、一般的に使われている3つのニューラルネットワーク(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマー(Transformer)によって、OODが解決できない明確に定義されたOODメトリクスを持つ2つのタスクを探索することによって、これを実証する。 さらに,OODシナリオで成功するためのバイアスを付与した2つの新しいネットワークアーキテクチャを開発した。 正しいバイアスとほぼ完璧なOOD性能であっても、アルゴリズムは構成一般化の正しい特徴を学習できないことを示す。

関連論文リスト

• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• WeShort: Out-of-distribution Detection With Weak Shortcut structure [0.0]
  我々は,OODデータに対するニューラルネットワークの過信を低減するために,シンプルで効果的なポストホック手法WeShortを提案する。 提案手法はOOD検出の異なるスコアと互換性があり,ネットワークの異なるアーキテクチャによく対応できる。
  論文  参考訳（メタデータ） (2022-06-23T07:59:10Z)
• Investigating Neural Architectures by Synthetic Dataset Design [14.317837518705302]
  近年、多くの新しいニューラルネットワーク構造(アーキテクチャと層)が出現している。 アドホックな合成データセットを設計することにより,各構造がネットワーク能力に与える影響を測定する手法をスケッチする。 本稿では,以下の3つのネットワーク特性のそれぞれを評価するために,3つのデータセットを構築した手法について述べる。
  論文  参考訳（メタデータ） (2022-04-23T10:50:52Z)
• Igeood: An Information Geometry Approach to Out-of-Distribution Detection [35.04325145919005]
  Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。 Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。 Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T11:26:35Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• DOODLER: Determining Out-Of-Distribution Likelihood from Encoder Reconstructions [6.577622354490276]
  本稿では,Of-Distribution Detectionのための新しい手法であるDOODLERを紹介し,検討する。 変分オートエンコーダを他のディープラーニングモデルと同じデータでトレーニングすることにより、VAEは、ID(In-Distribution)入力を正確に再構築することを学ぶが、OOD入力は再構築しない。 この分野の他の研究とは異なり、DOODLERはOODデータセットの存在について非常に弱い仮定しか必要とせず、より現実的なアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2021-09-27T14:54:55Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
  現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。 本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-19T15:46:38Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。