論文の概要: Don't throw the baby out with the bathwater: How and why deep learning for ARC

• arxiv url: http://arxiv.org/abs/2506.14276v1
• Date: Tue, 17 Jun 2025 07:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.382695
• Title: Don't throw the baby out with the bathwater: How and why deep learning for ARC
• Title（参考訳）: 飲み水で赤ちゃんを放り出すな - ARCの深層学習の方法と理由
• Authors: Jack Cole, Mohamed Osman,
• Abstract要約: ARC-AGI(Abstraction and Reasoning)は、AIシステムにとって非常に難しい課題である。 本稿では, ARC の事前学習から始まった ARC の学習手法を提案し, ARC の推論を改良する。 AIRVでは最大260%の精度で,TTFTではさらに300%の精度で深層学習を効果的に活用できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Abstraction and Reasoning Corpus (ARC-AGI) presents a formidable challenge for AI systems. Despite the typically low performance on ARC, the deep learning paradigm remains the most effective known strategy for generating skillful (state-of-the-art) neural networks (NN) across varied modalities and tasks in vision, language etc. The deep learning paradigm has proven to be able to train these skillful neural networks and learn the abstractions needed in these diverse domains. Our work doubles down on that and continues to leverage this paradigm by incorporating on-the-fly NN training at test time. We demonstrate that fully committing to deep learning's capacity to acquire novel abstractions yields state-of-the-art performance on ARC. Specifically, we treat both the neural network and the optimizer (rather than just a pre-trained network) as integral components of the inference process, fostering generalization to unseen tasks. Concretely, we propose a methodology for training on ARC, starting from pretrained LLMs, and enhancing their ARC reasoning. We also propose Test-Time Fine-Tuning (TTFT) and the Augment Inference Reverse-Augmentation and Vote (AIRV) as effective test-time techniques. We are the first to propose and show deep learning can be used effectively for ARC, showing boosts of up to 260% in accuracy with AIRV and a further 300% boost with TTFT. An early version of this approach secured first place in the 2023 ARCathon competition, while the final version achieved the current best score on the ARC private test-set (58%). Our findings highlight the key ingredients of a robust reasoning system in unfamiliar domains, underscoring the central mechanisms that improve broad perceptual reasoning.
• Abstract（参考訳）: ARC-AGI(Abstraction and Reasoning Corpus)は、AIシステムにとって非常に難しい課題である。 ARCの性能は一般的に低いが、ディープラーニングパラダイムは、視覚、言語などにおけるさまざまなモダリティやタスクをまたいだ熟練した(最先端の)ニューラルネットワーク(NN)を生成するための、最も効果的な戦略である。 ディープラーニングパラダイムは、これらの熟練したニューラルネットワークをトレーニングし、これらの多様なドメインに必要な抽象化を学習できることが証明されている。 当社の作業は、テスト時にオンザフライのNNトレーニングを取り入れることで、このパラダイムを引き続き活用しています。 本研究では,新しい抽象概念を習得する深層学習能力に全力を注ぐことによって,ARCの最先端性能が向上することが実証された。 具体的には、ニューラルネットワークとオプティマイザ(単にトレーニング済みのネットワークではなく)の両方を推論プロセスの不可欠なコンポーネントとして扱い、目に見えないタスクへの一般化を促進する。 具体的には、事前学習されたLLMから始まったARCの学習手法を提案し、ARC推論の強化を行う。 また,有効なテストタイム手法として,TTFT(Test-Time Fine-Tuning)とAIRV(Augment Inference Reverse-Augmentation and Vote)を提案する。 AIRVでは最大260%の精度で,TTFTではさらに300%の精度で深層学習を効果的に活用できることを示す。 このアプローチの初期バージョンは2023年のARCathonコンペで第1位を獲得し、最終バージョンはARCプライベートテストセット(58%)で現在最高のスコアを獲得した。 本研究は、未経験領域における頑健な推論システムの鍵となる要素を浮き彫りにして、広義の推論を改善する中心的なメカニズムを解明するものである。

関連論文リスト

• Efficient Neural Clause-Selection Reinforcement [0.0]
  節選択のための節のスコアリングのためのニューラルネットワークアーキテクチャを提案する。 ネットワークをヴァンパイアの定理証明器に統合し、成功した証明試行から訓練する。 多様なTPTPベンチマークの実験では、ベースライン戦略よりもニューラルネットワークによる証明が改善されている。
  論文  参考訳（メタデータ） (2025-03-10T19:14:48Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Human-Level Control through Directly-Trained Deep Spiking Q-Networks [16.268397551693862]
  スパイキングニューラルネットワーク(SNN)は、その高エネルギー効率のため、ニューロモルフィックなハードウェアに大きな可能性を秘めている。 本稿では,Leakyインテグレート・アンド・ファイアニューロンとDeep Q-Networkに基づいて,直接学習した深部スパイキング強化学習アーキテクチャを提案する。 我々の研究は、直接学習されたSNNを用いて、複数のAtariゲームで最先端のパフォーマンスを達成する最初のものである。
  論文  参考訳（メタデータ） (2021-12-13T09:46:17Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks [5.273501657421096]
  オンラインNNトレーニングと干渉が強化学習においてどのように相互作用するかを示す。 入力を高次元空間に再マッピングするだけで学習速度とパラメータ感度が向上することがわかった。 NNトレーニングに簡単なアプローチを提供し、実装が容易で、追加の計算をほとんど必要としない。
  論文  参考訳（メタデータ） (2020-03-16T19:21:08Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。