論文の概要: How to transfer algorithmic reasoning knowledge to learn new algorithms?
- arxiv url: http://arxiv.org/abs/2110.14056v1
- Date: Tue, 26 Oct 2021 22:14:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 07:13:41.524754
- Title: How to transfer algorithmic reasoning knowledge to learn new algorithms?
- Title（参考訳）: 新しいアルゴリズムを学ぶためにアルゴリズム推論知識を伝達する方法
- Authors: Louis-Pascal A. C. Xhonneux, Andreea Deac, Petar Velickovic, Jian Tang
- Abstract要約: 我々は,実行トレースにアクセス可能なアルゴリズムを用いて,そうでない同様のタスクを解く方法について検討する。
9つのアルゴリズムと3つの異なるグラフタイプを含むデータセットを作成します。
我々はこれを実証的に検証し、その代わりにマルチタスク学習を用いてアルゴリズム推論知識の伝達を実現する方法を示す。
- 参考スコア（独自算出の注目度）: 23.335939830754747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to execute algorithms is a fundamental problem that has been widely
studied. Prior work~\cite{veli19neural} has shown that to enable systematic
generalisation on graph algorithms it is critical to have access to the
intermediate steps of the program/algorithm. In many reasoning tasks, where
algorithmic-style reasoning is important, we only have access to the input and
output examples. Thus, inspired by the success of pre-training on similar tasks
or data in Natural Language Processing (NLP) and Computer Vision, we set out to
study how we can transfer algorithmic reasoning knowledge. Specifically, we
investigate how we can use algorithms for which we have access to the execution
trace to learn to solve similar tasks for which we do not. We investigate two
major classes of graph algorithms, parallel algorithms such as breadth-first
search and Bellman-Ford and sequential greedy algorithms such as Prim and
Dijkstra. Due to the fundamental differences between algorithmic reasoning
knowledge and feature extractors such as used in Computer Vision or NLP, we
hypothesise that standard transfer techniques will not be sufficient to achieve
systematic generalisation. To investigate this empirically we create a dataset
including 9 algorithms and 3 different graph types. We validate this
empirically and show how instead multi-task learning can be used to achieve the
transfer of algorithmic reasoning knowledge.
- Abstract（参考訳）: アルゴリズムの学習は、広く研究されている基本的な問題である。
先行研究~\cite{veli19neural} は、グラフアルゴリズムの体系的な一般化を可能にするためには、プログラム/アルゴリズムの中間ステップにアクセスすることが重要であることを示した。
アルゴリズム的な推論が重要である多くの推論タスクでは、入力と出力の例のみにアクセスできます。
そこで我々は,自然言語処理(NLP)やコンピュータビジョンにおける類似のタスクやデータに対する事前学習の成功に触発され,アルゴリズム推論の知識を伝達する方法を探究した。
具体的には,実行トレースにアクセス可能なアルゴリズムを使用して,同じようなタスクの解決法を学ぶ方法を検討する。
グラフアルゴリズムの2つの主要なクラス,例えばブロードスファーストサーチやベルマンフォードのような並列アルゴリズム,およびPrimやDijkstraのようなシーケンシャルグリーディアルゴリズムについて検討する。
アルゴリズム推論知識とコンピュータビジョンやNLPなどの特徴抽出器の基本的な違いから,標準転送技術は体系的な一般化を実現するのに十分ではないと仮定する。
これを調べるために、9つのアルゴリズムと3つの異なるグラフタイプを含むデータセットを作成します。
これを実証的に検証し,その代わりにマルチタスク学習を用いてアルゴリズム推論知識の伝達を実現する方法を示す。
関連論文リスト
- From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models [63.188607839223046]
この調査は、推論中に計算をスケールするメリットに焦点を当てている。
我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。
論文 参考訳（メタデータ） (2024-06-24T17:45:59Z) - Problem-Solving Guide: Predicting the Algorithm Tags and Difficulty for Competitive Programming Problems [7.955313479061445]
ほとんどのテック企業は、Google、Meta、Amazonなど、アルゴリズムの問題を解決する能力を必要としている。
本研究は,アルゴリズムタグをエンジニアや開発者の有用なツールとして予測する作業に対処する。
また,この問題の解決に要する時間を計算するための有用なガイダンスとして,アルゴリズム問題の難易度を予測することを検討する。
論文 参考訳（メタデータ） (2023-10-09T15:26:07Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。
我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。
CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
論文 参考訳（メタデータ） (2023-06-23T09:57:44Z) - Dual Algorithmic Reasoning [9.701208207491879]
本稿では,基礎となるアルゴリズム問題の双対性を利用してアルゴリズムを学習することを提案する。
アルゴリズム学習における最適化問題の2つの定義を同時に学習することで、より良い学習が可能になることを実証する。
次に、難易度の高い脳血管分類タスクにデプロイすることで、二元アルゴリズム推論の現実的な実用性を検証する。
論文 参考訳（メタデータ） (2023-02-09T08:46:23Z) - The CLRS Algorithmic Reasoning Benchmark [28.789225199559834]
アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。
本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。
我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
論文 参考訳（メタデータ） (2022-05-31T09:56:44Z) - Practical, Provably-Correct Interactive Learning in the Realizable
Setting: The Power of True Believers [12.09273192079783]
我々は、対話型学習を実現可能な設定で検討し、最適な腕の識別からアクティブな分類に至るまでの問題に対処する一般的な枠組みを開発する。
我々は,最小限の値と対数係数とを一致させる,計算効率のよい新しいアルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-11-09T02:33:36Z) - The Information Geometry of Unsupervised Reinforcement Learning [133.20816939521941]
教師なしスキル発見(英語: Unsupervised skill discovery)とは、報酬関数にアクセスせずに一連のポリシーを学ぶアルゴリズムのクラスである。
教師なしのスキル発見アルゴリズムは、あらゆる報酬関数に最適なスキルを学習しないことを示す。
論文 参考訳（メタデータ） (2021-10-06T13:08:36Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Mastering Rate based Curriculum Learning [78.45222238426246]
学習の進行という概念には、学習者のサンプル効率の低下につながるいくつかの欠点があると主張する。
本稿では,習得率の概念に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-14T16:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。