論文の概要: Learning with Differentiable Algorithms

• arxiv url: http://arxiv.org/abs/2209.00616v1
• Date: Thu, 1 Sep 2022 17:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 14:07:42.924188
• Title: Learning with Differentiable Algorithms
• Title（参考訳）: 微分可能アルゴリズムによる学習
• Authors: Felix Petersen
• Abstract要約: この論文は、古典的なアルゴリズムとニューラルネットワークのような機械学習システムを組み合わせることを探求している。 この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいは、アルゴリズムと連動して学ぶことを可能にする。 さらに、この論文では、微分可能なソートネットワーク、微分可能なソートゲート、微分可能な論理ゲートネットワークなど、微分可能なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.47243430672461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classic algorithms and machine learning systems like neural networks are both abundant in everyday life. While classic computer science algorithms are suitable for precise execution of exactly defined tasks such as finding the shortest path in a large graph, neural networks allow learning from data to predict the most likely answer in more complex tasks such as image classification, which cannot be reduced to an exact algorithm. To get the best of both worlds, this thesis explores combining both concepts leading to more robust, better performing, more interpretable, more computationally efficient, and more data efficient architectures. The thesis formalizes the idea of algorithmic supervision, which allows a neural network to learn from or in conjunction with an algorithm. When integrating an algorithm into a neural architecture, it is important that the algorithm is differentiable such that the architecture can be trained end-to-end and gradients can be propagated back through the algorithm in a meaningful way. To make algorithms differentiable, this thesis proposes a general method for continuously relaxing algorithms by perturbing variables and approximating the expectation value in closed form, i.e., without sampling. In addition, this thesis proposes differentiable algorithms, such as differentiable sorting networks, differentiable renderers, and differentiable logic gate networks. Finally, this thesis presents alternative training strategies for learning with algorithms.
• Abstract（参考訳）: ニューラルネットワークのような古典的なアルゴリズムと機械学習システムはどちらも日常生活に豊富です。 古典的なコンピュータサイエンスアルゴリズムは、大きなグラフで最短経路を見つけるなど、正確に定義されたタスクの正確な実行に適しているが、ニューラルネットワークは、画像分類のようなより複雑なタスクにおいて、データから学習することで、最も可能性の高い答えを予測できる。 両方の世界を最大限に活用するために、この論文は、より堅牢で、より良いパフォーマンス、より解釈可能で、計算効率が高く、よりデータ効率の良いアーキテクチャへと導く2つの概念を組み合わせたものである。 この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいはアルゴリズムと連動して学習できるようにする。 アルゴリズムをニューラルネットワークに統合する場合、アーキテクチャをエンドツーエンドに訓練し、勾配をアルゴリズムを通じて有意義な方法で伝播させることができるように、アルゴリズムが微分可能であることが重要である。 アルゴリズムを微分可能にするために、この論文は変数を摂動させ、期待値を閉形式、すなわちサンプリングせずに近似することでアルゴリズムを連続的に緩和する一般的な方法を提案する。 さらに、この論文は微分可能ソートネットワーク、微分可能レンダラ、微分可能論理ゲートネットワークなどの微分可能アルゴリズムを提案する。 最後に、この論文はアルゴリズムで学ぶための代替のトレーニング戦略を示す。

関連論文リスト

• A Generalist Neural Algorithmic Learner [18.425083543441776]
  我々は、幅広いアルゴリズムを実行することを学習できる単一のグラフニューラルネットワークプロセッサを構築している。 マルチタスク方式でアルゴリズムを効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:41:33Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• The CLRS Algorithmic Reasoning Benchmark [28.789225199559834]
  アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。 本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。 我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
  論文  参考訳（メタデータ） (2022-05-31T09:56:44Z)
• Algorithm Selection on a Meta Level [58.720142291102135]
  本稿では,与えられたアルゴリズムセレクタの組み合わせに最適な方法を求めるメタアルゴリズム選択の問題を紹介する。 本稿では,メタアルゴリズム選択のための一般的な方法論フレームワークと,このフレームワークのインスタンス化として具体的な学習手法を提案する。
  論文  参考訳（メタデータ） (2021-07-20T11:23:21Z)
• Neural Algorithmic Reasoning [11.566653801306844]
  我々はアルゴリズムが深層学習法と根本的に異なる性質を持っていると論じる。 学習アルゴリズムの連続空間における要素を表現することによって、ニューラルネットワークは既知のアルゴリズムを現実世界の問題により密接に適応することができる。
  論文  参考訳（メタデータ） (2021-05-06T15:33:57Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。