論文の概要: AbstractDifferentiation.jl: Backend-Agnostic Differentiable Programming
in Julia
- arxiv url: http://arxiv.org/abs/2109.12449v1
- Date: Sat, 25 Sep 2021 22:19:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:05:37.408412
- Title: AbstractDifferentiation.jl: Backend-Agnostic Differentiable Programming
in Julia
- Title(参考訳): AbstractDifferentiation.jl: Juliaにおけるバックエンド非依存の微分プログラミング
- Authors: Frank Sch\"afer, Mohamed Tarek, Lyndon White, Chris Rackauckas
- Abstract要約: 本稿では,任意の自動微分(AD)パッケージ用の拡張ユーザ対応APIの自動生成のためのAbstractDifferentiation.jlを提案する。
ADユーザとAD開発者の複雑さを分割することで、ADパッケージ開発者は1つまたは2つのプリミティブ定義を実装するだけでよい。
- 参考スコア(独自算出の注目度): 3.251765107970636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: No single Automatic Differentiation (AD) system is the optimal choice for all
problems. This means informed selection of an AD system and combinations can be
a problem-specific variable that can greatly impact performance. In the Julia
programming language, the major AD systems target the same input and thus in
theory can compose. Hitherto, switching between AD packages in the Julia
Language required end-users to familiarize themselves with the user-facing API
of the respective packages. Furthermore, implementing a new, usable AD package
required AD package developers to write boilerplate code to define convenience
API functions for end-users. As a response to these issues, we present
AbstractDifferentiation.jl for the automatized generation of an extensive,
unified, user-facing API for any AD package. By splitting the complexity
between AD users and AD developers, AD package developers only need to
implement one or two primitive definitions to support various utilities for AD
users like Jacobians, Hessians and lazy product operators from native
primitives such as pullbacks or pushforwards, thus removing tedious -- but so
far inevitable -- boilerplate code, and enabling the easy switching and
composing between AD implementations for end-users.
- Abstract(参考訳): すべての問題に対して最適な自動微分(AD)システムは存在しない。
これは、ADシステムの情報選択と組み合わせが問題固有の変数になり、性能に大きな影響を及ぼすことを意味する。
ジュリアプログラミング言語では、主要な広告システムは同じ入力をターゲットとし、理論上は構成できる。
代わりに、Julia言語でADパッケージを切り替えるには、エンドユーザがそれぞれのパッケージのユーザ対応APIに慣れる必要があった。
さらに、新しいADパッケージの実装では、ADパッケージ開発者は、エンドユーザ向けの便利なAPI関数を定義するために定型的なコードを書く必要があった。
これらの問題に対する対応として、任意のADパッケージに対して、広範囲に統一されたユーザ対応APIを自動生成するためのAbstractDifferentiation.jlを提案する。
ADユーザとAD開発者の複雑さを分けることで、ADパッケージ開発者は、Addユーザのためのさまざまなユーティリティをサポートするために、Jacobian、Hessian、および遅延製品オペレータをプルバックやプッシュフォワードといったネイティブプリミティブから実装するだけでよい。
関連論文リスト
- Relative Preference Optimization: Enhancing LLM Alignment through
Contrasting Responses across Identical and Diverse Prompts [100.76940486636121]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文で提示された結果を再現するために必要なPyTorchコードは、GitHubで公開されている。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z) - You Only Look at Screens: Multimodal Chain-of-Action Agents [43.850040967091616]
Auto-UIはインターフェースと直接対話するマルチモーダルソリューションである。
そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。
我々は30Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
論文 参考訳(メタデータ) (2023-09-20T16:12:32Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - Automatic Attention Pruning: Improving and Automating Model Pruning
using Attentions [5.445935252764351]
プルーニングは、リソース制約のあるエッジデバイスにそれらをデプロイするために、ディープラーニングモデルを圧縮するための有望なアプローチである。
本稿では,適応型,注意型,構造化型プルーニング手法であるAutomatic Attention Pruning (AAP)を提案する。
論文 参考訳(メタデータ) (2023-03-14T02:47:57Z) - The Minority Matters: A Diversity-Promoting Collaborative Metric
Learning Algorithm [154.47590401735323]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-30T08:02:18Z) - Diverse Preference Augmentation with Multiple Domains for Cold-start
Recommendations [92.47380209981348]
メタラーニングをベースとした多元的ドメインを用いた多元的推論拡張フレームワークを提案する。
我々は、疎結合の場合の過度な適合を扱うために、新しい関心領域において多様な評価を生成する。
これらの評価は、選好メタラーナーを学ぶためのメタトレーニング手順に導入され、優れた一般化能力が得られる。
論文 参考訳(メタデータ) (2022-04-01T10:10:50Z) - Data-Efficient and Interpretable Tabular Anomaly Detection [54.15249463477813]
本稿では,ホワイトボックスモデルクラスである一般化付加モデルを適用し,異常を検出する新しいフレームワークを提案する。
さらに、提案フレームワークであるDIADは、ラベル付きデータの少量を組み込んで、半教師付き設定における異常検出性能をさらに向上させることができる。
論文 参考訳(メタデータ) (2022-03-03T22:02:56Z) - Deep Generative Models to Extend Active Directory Graphs with Honeypot
Users [1.599072005190786]
攻撃検出を支援するために,Active Directory構造に偽ユーザ(Honeyusers)を生成し配置することを提案する。
本手法は,AD構造をよく配置したハニーザーで強化する変分オートエンコーダを用いたハニーザーを生成する。
以上の結果から,我々の機械学習モデルでは既存のAD構造によく配置されたハニーザーを生成するのに十分であることがわかった。
論文 参考訳(メタデータ) (2021-09-13T15:07:35Z) - Unsupervised and self-adaptative techniques for cross-domain person
re-identification [82.54691433502335]
非重複カメラにおける人物再識別(ReID)は難しい課題である。
Unsupervised Domain Adaptation(UDA)は、ソースで訓練されたモデルから、IDラベルアノテーションなしでターゲットドメインへの機能学習適応を実行するため、有望な代替手段です。
本稿では,新しいオフライン戦略によって生成されたサンプルのトリプレットを利用する,UDAベースのReID手法を提案する。
論文 参考訳(メタデータ) (2021-03-21T23:58:39Z) - Unified Framework for the Adaptive Operator Selection of Discrete
Parameters [0.0]
進化的アルゴリズム(EA)における演算子(AOS)の適応的選択の徹底的な調査を行う。
既存のAOSメソッドの分類に基づいて構築されるフレームワークにより多くのコンポーネントを追加することで、AOS構造を単純化しました。
単純化に加えて,AOS手法間の共通点を文献から考察し,それらを一般化した。
論文 参考訳(メタデータ) (2020-05-12T08:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。