論文の概要: Auto-COP: Adaptation Generation in Context-Oriented Programming using Reinforcement Learning Options

• arxiv url: http://arxiv.org/abs/2103.06757v2
• Date: Thu, 3 Aug 2023 13:47:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 17:43:52.763652
• Title: Auto-COP: Adaptation Generation in Context-Oriented Programming using Reinforcement Learning Options
• Title（参考訳）: Auto-COP:強化学習オプションを用いたコンテキスト指向プログラミングにおける適応生成
• Authors: Nicol\'as Cardozo and Ivana Dusparic
• Abstract要約: 本稿では,実行時の適応生成を可能にする新しい手法であるAuto-COPを提案する。 本稿では,異なるシステム特性と応用領域を示す2つのケーススタディを示す。 生成した適応は、ドメイン固有のパフォーマンス指標によって測定された正しいシステム挙動を示す。
• 参考スコア（独自算出の注目度）: 2.984934409689467
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-adaptive software systems continuously adapt in response to internal and external changes in their execution environment, captured as contexts. The COP paradigm posits a technique for the development of self-adaptive systems, capturing their main characteristics with specialized programming language constructs. COP adaptations are specified as independent modules composed in and out of the base system as contexts are activated and deactivated in response to sensed circumstances from the surrounding environment. However, the definition of adaptations, their contexts and associated specialized behavior, need to be specified at design time. In complex CPS this is intractable due to new unpredicted operating conditions. We propose Auto-COP, a new technique to enable generation of adaptations at run time. Auto-COP uses RL options to build action sequences, based on the previous instances of the system execution. Options are explored in interaction with the environment, and the most suitable options for each context are used to generate adaptations exploiting COP. To validate Auto-COP, we present two case studies exhibiting different system characteristics and application domains: a driving assistant and a robot delivery system. We present examples of Auto-COP code generated at run time, to illustrate the types of circumstances (contexts) requiring adaptation, and the corresponding generated adaptations for each context. We confirm that the generated adaptations exhibit correct system behavior measured by domain-specific performance metrics, while reducing the number of required execution/actuation steps by a factor of two showing that the adaptations are regularly selected by the running system as adaptive behavior is more appropriate than the execution of primitive actions.
• Abstract（参考訳）: 自己適応型ソフトウェアシステムは、実行環境の内部および外部の変化に応じて継続的に適応し、コンテキストとして捉えられる。 COPパラダイムは自己適応型システムを開発するための技術であり、その主な特徴を特殊プログラミング言語で捉えている。 COP適応は、周囲の環境から感知された状況に応じてコンテキストが活性化され、非活性化されるため、ベースシステム内外の独立したモジュールとして指定される。 しかし、適応の定義、それらの文脈、関連する特別な振る舞いは、設計時に指定する必要がある。 複雑なCPSでは、新しい予測不能な動作条件のために、これは難解である。 本稿では,実行時の適応生成を可能にする新しい手法であるAuto-COPを提案する。 Auto-COPは、以前のシステム実行のインスタンスに基づいてアクションシーケンスを構築するためにRLオプションを使用する。 オプションは環境とのインタラクションにおいて探索され、それぞれのコンテキストに最も適したオプションはCOPを利用した適応を生成するために使用される。 Auto-COPを検証するために,ドライブアシスタントとロボット配送システムという,異なるシステム特性と応用領域を示す2つのケーススタディを提案する。 本稿では,実行時に生成されたauto-copコードの例を示し,適応に必要な状況(コンテキスト)の種類と,対応する各コンテキストに対する適応について述べる。 生成した適応は、ドメイン固有のパフォーマンス指標によって測定された正しいシステム動作を示すとともに、必要な実行/アクティベーションステップの数を2倍に削減し、適応動作がプリミティブアクションの実行よりも適切であることを示す。

関連論文リスト

• Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
  実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。 概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。 我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:05:51Z)
• Generalized Preference Optimization: A Unified Approach to Offline Alignment [54.97015778517253]
  本稿では,一般的な凸関数のクラスによってパラメータ化されるオフライン損失の族である一般化された選好最適化(GPO)を提案する。 GPOは、DPO、IPO、SLiCといった既存のアルゴリズムを特別なケースとして含む、優先最適化に関する統一的なビューを可能にする。 本研究は,新たなアルゴリズムツールキットと経験的洞察を実践者のアライメントに提示する。
  論文  参考訳（メタデータ） (2024-02-08T15:33:09Z)
• Reducing Large Adaptation Spaces in Self-Adaptive Systems Using Machine Learning [10.444983001376874]
  ML2ASR+は、適応空間削減のための機械学習の略である。 インターネット・オブ・シングス・アプリケーションとサービス・ベース・システムという,適応空間のサイズが異なる2つのアプリケーションに対してML2ASR+を評価する。 その結果,ML2ASR+は異なる種類の目標に対応するために適用可能であり,適応空間を減少させることができ,適応目標の実現に無視できない影響で90%以上の適応決定を行うことができることがわかった。
  論文  参考訳（メタデータ） (2023-06-02T09:49:33Z)
• Condition-Invariant Semantic Segmentation [77.10045325743644]
  我々は現在最先端のドメイン適応アーキテクチャ上で条件不変セマンティック(CISS)を実装している。 本手法は,通常の都市景観$to$ACDCベンチマークにおいて,2番目に高い性能を実現する。 CISSはBDD100K-nightやACDC-nightのようなトレーニング中に見えない領域によく一般化している。
  論文  参考訳（メタデータ） (2023-05-27T03:05:07Z)
• Deep Learning for Effective and Efficient Reduction of Large Adaptation Spaces in Self-Adaptive Systems [12.341380735802568]
  本稿では、DLASeR+を略して「適応空間削減のための深層学習」を提案する。 DLASeR+は、オンライン適応スペース削減のための拡張可能な学習フレームワークを提供する。 3種類の適応目標(しきい値、最適化、セットポイント目標)をサポートする。 その結果, DLASeR+は適応目標の実現に無視できる効果を有することがわかった。
  論文  参考訳（メタデータ） (2022-04-13T08:51:06Z)
• REPTILE: A Proactive Real-Time Deep Reinforcement Learning Self-adaptive Framework [0.6335848702857039]
  動作環境の変化に応じて動作を適応できるソフトウェアシステムの開発を支援するための一般的なフレームワークが提案されている。 提案されたアプローチはREPTILEと呼ばれ、完全にプロアクティブな方法で動作し、イベントに反応するためにDeep Reinforcement Learningベースのエージェントに依存する。 本フレームワークでは、コンテキスト/環境に関するものと、物理的なアーキテクチャそのものに関するものとの2つのタイプのノベルティを考慮に入れている。 このフレームワークは、その発生前にこれらの新規性を予測し、環境の時間変化モデルを抽出し、適切なマルコフ決定プロセスを使用してリアルタイム設定に対処する。
  論文  参考訳（メタデータ） (2022-03-28T12:38:08Z)
• Lifelong Unsupervised Domain Adaptive Person Re-identification with Coordinated Anti-forgetting and Adaptation [127.6168183074427]
  本稿では,LUDA (Lifelong Unsupervised Domain Adaptive) という新たなタスクを提案する。 これは、モデルがターゲット環境のラベル付けされていないデータに継続的に適応する必要があるため、難しい。 我々は、CLUDA-ReIDと呼ばれるこのタスクのための効果的なスキームを設計し、そこでは、アンチフォージェッティングが適応と調和して調整される。
  論文  参考訳（メタデータ） (2021-12-13T13:19:45Z)
• Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
  ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。 このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。 また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-23T10:53:29Z)
• Generalize then Adapt: Source-Free Domain Adaptive Semantic Segmentation [78.38321096371106]
  先行技術はラベル付きソースとラベルなしターゲットの両方への同時アクセスを前提としており、ソースフリー適応を必要とするシナリオには適さない。 本研究では、タスクをa)ソースのみのドメイン一般化とb)ソースフリーなターゲット適応の2つに分割することで、ソースフリーのDAを可能にする。 本研究では,空間的不規則性を回避し,擬似ラベル品質を向上する条件付き事前強化オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2021-08-25T14:18:59Z)
• Towards Better Adaptive Systems by Combining MAPE, Control Theory, and Machine Learning [16.998805882711864]
  適応システムを設計するための2つの確立されたアプローチは、監視分析計画実行ループを使用するアーキテクチャベースの適応と、適応を実現するための制御理論(ct)の原則に依存する制御ベースの適応である。 私たちは、これらのアプローチが相互にどのように関連しているか、それらを組み合わせて機械学習をサポートすることがよりよい適応システムを生み出すかどうか、という問題に関係しています。 我々は、クラウドベースのエンタープライズシステムのシナリオを用いて、異なる適応アプローチを組み合わせる動機付け、異なるアプローチを組み合わせる際に分析を説明する。
  論文  参考訳（メタデータ） (2021-03-19T15:00:08Z)
• Time Adaptive Reinforcement Learning [2.0305676256390934]
  強化学習(RL)は、Goのような複雑なタスクを、人間よりも強いパフォーマンスで解決することができる。 ここでは、あるタスクの実行から次のタスクの実行に変化する可能性のある、所定の時間制限でタスクを終了するなど、RLエージェントを異なる時間制限に適応するケースについて検討する。 Independent Gamma-Ensemble と n-Step Ensemble の2つのモデルフリーな値ベースアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-04-18T11:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。