論文の概要: Open-Book Neural Algorithmic Reasoning

• arxiv url: http://arxiv.org/abs/2501.00072v1
• Date: Mon, 30 Dec 2024 02:14:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:18.309745
• Title: Open-Book Neural Algorithmic Reasoning
• Title（参考訳）: Open-Book Neural Algorithmic Reasoning
• Authors: Hefei Li, Chao Peng, Chenyang Xu, Zhengfeng Yang,
• Abstract要約: ニューラルネットワークのための新しいオープンブック学習フレームワークを提案する。 このフレームワークでは、ネットワークはトレーニングデータセットのすべてのインスタンスにアクセスして利用することができる。 このオープンブックアテンションメカニズムは、ベンチマーク中の様々なタスク間の固有の関係についての洞察を提供する。
• 参考スコア（独自算出の注目度）: 5.057669848157507
• License:
• Abstract: Neural algorithmic reasoning is an emerging area of machine learning that focuses on building neural networks capable of solving complex algorithmic tasks. Recent advancements predominantly follow the standard supervised learning paradigm -- feeding an individual problem instance into the network each time and training it to approximate the execution steps of a classical algorithm. We challenge this mode and propose a novel open-book learning framework. In this framework, whether during training or testing, the network can access and utilize all instances in the training dataset when reasoning for a given instance. Empirical evaluation is conducted on the challenging CLRS Algorithmic Reasoning Benchmark, which consists of 30 diverse algorithmic tasks. Our open-book learning framework exhibits a significant enhancement in neural reasoning capabilities. Further, we notice that there is recent literature suggesting that multi-task training on CLRS can improve the reasoning accuracy of certain tasks, implying intrinsic connections between different algorithmic tasks. We delve into this direction via the open-book framework. When the network reasons for a specific task, we enable it to aggregate information from training instances of other tasks in an attention-based manner. We show that this open-book attention mechanism offers insights into the inherent relationships among various tasks in the benchmark and provides a robust tool for interpretable multi-task training.
• Abstract（参考訳）: ニューラルネットワーク推論は、複雑なアルゴリズムタスクを解くことができるニューラルネットワークの構築に焦点を当てた、機械学習の新たな分野である。 最近の進歩は、主に標準的な教師付き学習パラダイムに従い、個々の問題インスタンスを毎回ネットワークに供給し、古典的なアルゴリズムの実行手順を近似するように訓練する。 我々はこのモードに挑戦し、新しいオープンブック学習フレームワークを提案する。 このフレームワークでは、トレーニングやテストの間であっても、ネットワークはトレーニングデータセットのすべてのインスタンスにアクセスして利用することができる。 CLRS Algorithmic Reasoning Benchmarkは,30種類のアルゴリズムタスクから構成される。 私たちのオープンブック学習フレームワークは、神経推論能力を大幅に向上させています。 さらに,CLRS上でのマルチタスクトレーニングにより,特定のタスクの推論精度が向上し,異なるアルゴリズムタスク間の本質的な関係が示唆されていることが,近年の文献で指摘されている。 私たちはこの方向を,オープンブックフレームワークを通じて検討しています。 ネットワークが特定のタスクの理由付けを行うと、他のタスクのトレーニングインスタンスから情報を注意ベースで収集することができる。 このオープンブック・アテンション・メカニズムは、ベンチマーク中の様々なタスク間の固有の関係を洞察し、マルチタスク・トレーニングを解釈するための堅牢なツールを提供する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning [12.608461657195367]
  本研究では,累積的後悔を最小限に抑える近似アルゴリズムの学習を目標とするマルチタスク構造化バンディット問題について検討する。 我々は、この共有構造を学習するために、トランスフォーマーを意思決定アルゴリズムとして使用し、テストタスクに一般化する。 提案アルゴリズムは,問題の根底にある構造を知ることなく,コンテキスト内でほぼ最適のポリシーを学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-07T16:34:31Z)
• Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
  ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。 この論文は、この領域の研究に理論的および実践的な貢献を提供する。
  論文  参考訳（メタデータ） (2024-02-21T12:16:51Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
  非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T04:02:49Z)
• Learning Good Features to Transfer Across Tasks and Domains [16.05821129333396]
  まず、与えられたドメイン内のタスク固有の深い機能間のマッピングを学習することで、タスク間でそのような知識を共有できることを示します。 そして、ニューラルネットワークによって実装されたこのマッピング関数が、新しい未知の領域に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:49:39Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• A Framework for Verifiable and Auditable Federated Anomaly Detection [3.639790324866155]
  フェデレート・リーン(Federated Leaning)は、機械学習タスクのソリューションのためのエージェントのグループ間の協力を管理する新しいアプローチである。 本稿では,異常検出の特定の場合において,この問題に対処する新しいアルゴリズムアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-15T11:34:02Z)
• Online Learning Probabilistic Event Calculus Theories in Answer Set Programming [70.06301658267125]
  イベント認識(CER)システムは、事前に定義されたイベントパターンを使用して、ストリーミングタイムスタンプデータセットで発生を検出する。 本稿では,複雑なイベントパターンによる確率論的推論を,イベント計算で重み付けされたルールの形で行うことができるAnswer Set Programming(ASP)に基づくシステムを提案する。 その結果, 効率と予測の両面で, 新たなアプローチの優位性が示された。
  論文  参考訳（メタデータ） (2021-03-31T23:16:29Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。