Fugu-MT 論文翻訳(概要): Easing Optimization Paths: a Circuit Perspective

論文の概要: Easing Optimization Paths: a Circuit Perspective

arxiv url: http://arxiv.org/abs/2501.02362v1
Date: Sat, 04 Jan 2025 19:28:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-07 17:08:22.008307
Title: Easing Optimization Paths: a Circuit Perspective
Title（参考訳）: 最適化パスの回避:回路的視点
Authors: Ambroise Odonnat, Wassim Bouaziz, Vivien Cabannes,
Abstract要約: グラディエント降下(Gradient descend)は、大規模な人工知能システムの訓練方法である。メカニスティック・インタプリタビリティによってもたらされるサーキット・パースペクティブを活用することを提案する。制御された環境で効率的に学習するためのカリキュラムを設計する方法を示す。
参考スコア（独自算出の注目度）: 2.900289363118179
License:
Abstract: Gradient descent is the method of choice for training large artificial intelligence systems. As these systems become larger, a better understanding of the mechanisms behind gradient training would allow us to alleviate compute costs and help steer these systems away from harmful behaviors. To that end, we suggest utilizing the circuit perspective brought forward by mechanistic interpretability. After laying out our intuition, we illustrate how it enables us to design a curriculum for efficient learning in a controlled setting. The code is available at \url{https://github.com/facebookresearch/pal}.
Abstract（参考訳）: グラディエント降下(Gradient descend)は、大規模な人工知能システムの訓練方法である。これらのシステムが大きくなるにつれて、勾配トレーニングの背後にあるメカニズムをよりよく理解することで、計算コストを軽減し、有害な行動からシステムを守ることができます。この目的のために,機械的解釈可能性によってもたらされる回路的視点を活用することを提案する。直観を整理した後、制御された環境で効率的に学習するためのカリキュラムを設計する方法について説明する。コードは \url{https://github.com/facebookresearch/pal} で公開されている。

関連論文リスト

Semi-adaptive Synergetic Two-way Pseudoinverse Learning System [8.16000189123978]
本稿では,半適応型2方向擬似逆学習システムを提案する。各サブシステムは、前方学習、後方学習、機能結合モジュールを含む。システム全体は、非段階的な降下学習アルゴリズムを用いて訓練される。
論文参考訳（メタデータ） (2024-06-27T06:56:46Z)
How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文参考訳（メタデータ） (2023-12-07T21:40:44Z)
Mechanic: A Learning Rate Tuner [52.4242550204696]
我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
論文参考訳（メタデータ） (2023-05-31T19:32:43Z)
Fortuitous Forgetting in Connectionist Networks [20.206607130719696]
我々は,ニューラルネットワークの学習軌跡を形成するための強力なパラダイムとして,"forget-and-relearn"を紹介した。 forget-and-relearnフレームワークは、画像分類と言語出現文学において、多くの既存の反復的トレーニングアルゴリズムを統合する。我々は、この理解を活用して、よりターゲットを絞った忘れ操作を設計することで、既存のアルゴリズムを改善する。
論文参考訳（メタデータ） (2022-02-01T00:15:58Z)
Feedback Linearization of Car Dynamics for Racing via Reinforcement Learning [0.0]
我々は、自動走行する車の制御プロセスを簡素化するために、リニアライゼーションコントローラを学ぼうとしている。ソフトアクター批判的手法は、手動設計の線形化制御器の誤差を効果的に補正するデカップリング行列とドリフトベクトルを学習するために用いられる。そこで我々は、線形化制御器の出力をレース環境に必要な入力に変換するために教師付き学習を用いてトレーニングされたニューラルネットワークであるフィードバック線形化法の拡張を提案する。
論文参考訳（メタデータ） (2021-10-20T09:11:18Z)
Physical Gradients for Deep Learning [101.36788327318669]
最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-30T12:14:31Z)
ViNG: Learning Open-World Navigation with Visual Goals [82.84193221280216]
視覚的目標達成のための学習に基づくナビゲーションシステムを提案する。提案手法は,我々がvingと呼ぶシステムが,目標条件強化学習のための提案手法を上回っていることを示す。我々は、ラストマイル配送や倉庫検査など、現実の多くのアプリケーションでViNGを実演する。
論文参考訳（メタデータ） (2020-12-17T18:22:32Z)
Hardware Beyond Backpropagation: a Photonic Co-Processor for Direct Feedback Alignment [26.65651157173834]
数兆のパラメータでランダムなプロジェクションを計算できる、ダイレクトフィードバックアライメントのためのフォトニック加速器を提案する。これはスケーラブルなハードウェアを構築するための重要なステップであり、バックプロパゲーションを超えることができる。
論文参考訳（メタデータ） (2020-12-11T14:20:45Z)
Reward Propagation Using Graph Convolutional Networks [61.32891095232801]
本稿では,グラフ表現学習のアイデアを活用した潜在機能学習フレームワークを提案する。我々のアプローチは、強化学習の確率論的推論と組み合わせて、重要な要素として使用するグラフ畳み込みネットワークに依存している。
論文参考訳（メタデータ） (2020-10-06T04:38:16Z)
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning [81.12201426668894]
報奨関数を使わずに多様なスキルを習得し,これらのスキルを下流のタスクに再利用する効率的な強化学習手法を開発した。提案アルゴリズムは学習効率を大幅に向上させ,報酬のない実世界のトレーニングを実現する。また,学習スキルは,目標指向ナビゲーションのためのモデル予測制御を用いて,追加のトレーニングを伴わずに構成可能であることも実証した。
論文参考訳（メタデータ） (2020-04-27T17:38:53Z)
End-to-end Autonomous Driving Perception with Sequential Latent Representation Learning [34.61415516112297]
エンドツーエンドのアプローチでは、システムをクリーンアップし、人間のエンジニアリングの膨大な努力を避けることができる。潜在空間は、知覚に有用なすべての関連する特徴を捉えるために導入され、逐次潜在表現学習を通じて学習される。学習したエンドツーエンドの知覚モデルは、最小限の人間工学的努力だけで検出、追跡、ローカライゼーション、マッピングの問題を解決することができる。
論文参考訳（メタデータ） (2020-03-21T05:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。