論文の概要: Requirements for Aligned, Dynamic Resolution of Conflicts in Operational Constraints
- arxiv url: http://arxiv.org/abs/2511.10952v2
- Date: Tue, 18 Nov 2025 03:36:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 13:59:16.599665
- Title: Requirements for Aligned, Dynamic Resolution of Conflicts in Operational Constraints
- Title(参考訳): 運用制約における競合の適応・動的解決の要件
- Authors: Steven J. Jones, Robert E. Wray, John E. Laird,
- Abstract要約: デプロイされた自律型AIシステムは、新規または未特定のコンテキストにおいて、複数のもっともらしい行動コースを評価する必要がある。
本稿では,これらの文脈におけるエージェント決定の要件を特徴付ける。
また、目標を達成し、人間の期待に沿うために、意思決定を堅牢にするために必要な知識エージェントの種類を特定する。
- 参考スコア(独自算出の注目度): 2.752817022620644
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deployed, autonomous AI systems must often evaluate multiple plausible courses of action (extended sequences of behavior) in novel or under-specified contexts. Despite extensive training, these systems will inevitably encounter scenarios where no available course of action fully satisfies all operational constraints (e.g., operating procedures, rules, laws, norms, and goals). To achieve goals in accordance with human expectations and values, agents must go beyond their trained policies and instead construct, evaluate, and justify candidate courses of action. These processes require contextual "knowledge" that may lie outside prior (policy) training. This paper characterizes requirements for agent decision making in these contexts. It also identifies the types of knowledge agents require to make decisions robust to agent goals and aligned with human expectations. Drawing on both analysis and empirical case studies, we examine how agents need to integrate normative, pragmatic, and situational understanding to select and then to pursue more aligned courses of action in complex, real-world environments.
- Abstract(参考訳): デプロイされた自律型AIシステムは、新規または未特定のコンテキストにおいて、複数の実行可能な行動コース(拡張された行動列)を評価する必要がある。
大規模なトレーニングにもかかわらず、これらのシステムは、利用可能な行動コースがすべての運用上の制約(例えば、運用手順、ルール、法則、規範、目標)を完全に満たさないシナリオに、必然的に遭遇する。
人間の期待と価値観に従って目標を達成するためには、エージェントは訓練された方針を超えて、代わりに、候補となる行動のコースを構築し、評価し、正当化する必要がある。
これらのプロセスは、事前(政治)の訓練の外にあるかもしれない文脈的「知識」を必要とする。
本稿では,これらの文脈におけるエージェント決定の要件を特徴付ける。
また、目標を達成し、人間の期待に沿うために、意思決定を堅牢にするために必要な知識エージェントの種類を特定する。
分析と経験的ケーススタディの両方に基づいて、エージェントが選択するために規範的、実践的、状況的理解を統合し、さらに複雑な実世界の環境でより整合した行動のコースを追求する必要があるかを検討する。
関連論文リスト
- Toward a Theory of Agents as Tool-Use Decision-Makers [89.26889709510242]
真の自律性は、エージェントが、彼らが知っていること、必要なこと、そしてその知識を効率的に獲得する方法を統治する、一貫性のある疫学の枠組みに根ざす必要がある、と我々は主張する。
本研究では,内的推論と外的行動を等価な疫学ツールとして扱う統一理論を提案し,エージェントが内観と相互作用を体系的に調整することを可能にする。
この視点は、エージェントの設計を単なるアクションエグゼクタから知識駆動インテリジェンスシステムにシフトさせ、適応的で効率的でゴール指向の行動が可能な基礎エージェントを構築するための原則化された道筋を提供する。
論文 参考訳(メタデータ) (2025-06-01T07:52:16Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳(メタデータ) (2025-03-11T17:53:02Z) - Towards Developing Ethical Reasoners: Integrating Probabilistic Reasoning and Decision-Making for Complex AI Systems [4.854297874710511]
計算倫理フレームワークは、複雑な実環境で動作するAIと自律システムにとって不可欠である。
既存のアプローチは、倫理原則を動的で曖昧な文脈に組み込むために必要な適応性に欠けることが多い。
本稿では,中間表現,確率論的推論,知識表現を組み合わせた総合的メタレベルフレームワークの構築に必要な要素について概説する。
論文 参考訳(メタデータ) (2025-02-28T17:25:11Z) - Normative Requirements Operationalization with Large Language Models [3.456725053685842]
規範的な非機能要件は、社会的、法的、倫理的、共感的、文化的規範の違反を避けるために、システムが観察しなければならない制約を規定する。
近年の研究では、規範的要件を特定するためにドメイン固有言語を使用してこの問題に対処している。
本稿では,システム機能の抽象表現間の意味的関係を抽出するために,大規模言語モデルを用いた補完的アプローチを提案する。
論文 参考訳(メタデータ) (2024-04-18T17:01:34Z) - Towards Responsible AI in Banking: Addressing Bias for Fair
Decision-Making [69.44075077934914]
責任AI(Responsible AI)は、企業文化の発展におけるバイアスに対処する重要な性質を強調している。
この論文は、バイアスを理解すること、バイアスを緩和すること、バイアスを説明することの3つの基本的な柱に基づいて構成されている。
オープンソースの原則に従って、アクセス可能なPythonパッケージとして、Bias On DemandとFairViewをリリースしました。
論文 参考訳(メタデータ) (2024-01-13T14:07:09Z) - Code Models are Zero-shot Precondition Reasoners [83.8561159080672]
シーケンシャルな意思決定タスクのために、コード表現を使ってアクションの前提条件を推論します。
本稿では,政策によって予測される行動が前提条件と一致していることを保証する事前条件対応行動サンプリング戦略を提案する。
論文 参考訳(メタデータ) (2023-11-16T06:19:27Z) - Context-Aware Composition of Agent Policies by Markov Decision Process
Entity Embeddings and Agent Ensembles [1.124711723767572]
計算エージェントは生命の多くの領域で人間をサポートし、従って異質な文脈で見られる。
サービスを実行し、目標志向の行動を実行するためには、エージェントは事前の知識を必要とする。
異種コンテキストの表現を可能にする新しいシミュレーションベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-28T12:13:36Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳(メタデータ) (2022-05-09T19:28:32Z) - Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。
我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
論文 参考訳(メタデータ) (2020-04-21T03:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。