論文の概要: A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions

• arxiv url: http://arxiv.org/abs/2608.12302v1
• Date: Wed, 12 Aug 2026 17:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.66359
• Title: A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions
• Title（参考訳）: リワード関数設計のためのフレームワーク: 目的物から特徴物へ、ヒューマンアラインなリワード関数へ
• Abstract要約: 我々は,非専門家が人間に適応した報酬関数をインスタンス化し,反復することができる形式的なプロセスを提案する。 自然言語で記述されたタスクが与えられた場合、このプロセスは3つのステップで線形報酬関数を生成する。 我々の知る限りでは、これは決定論的に矛盾のない実現可能な重量領域を維持する最初の報奨設計法である。
• 参考スコア（独自算出の注目度）: 4.5016924685805275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a formal process to enable non-experts to instantiate and iterate on human-aligned reward functions, i.e. reward functions that adhere to a given preference ordering over trajectories. Given a task described in natural language, our process produces a linear reward function in three steps: distill the task's objectives into a set of fundamental objectives and derive measurable outcome variables that capture those fundamental objectives, select a causally representative subset of outcome variables as the reward terms, and fit weights to those reward terms via preference elicitation. Our contributions describe the first step and formalize the latter two steps. The first is a guided workflow for deriving outcome variables. The second is a reduction of reward term selection to minimum-cost partial cover on a causal DAG, solved in polynomial time via max-flow. The third is a geometric framing of weight fitting as a convex feasibility problem iteratively narrowed by preference queries, solved by existing separation oracle methods. To the best of our knowledge, this is the first reward-design method that maintains a deterministically conflict-free feasible weight region, narrowed to a desired tolerance via a separation oracle with O(n log κ) preference queries.
• Abstract（参考訳）: 本研究では,非専門家が人間に適応した報酬関数,すなわち軌道上の優先順序に従う報酬関数のインスタンス化と反復化を可能にする公式なプロセスを提案する。 自然言語で記述されたタスクを与えられた場合、我々のプロセスは3つのステップで線形報酬関数を生成する: タスクの目的を基本目的の集合に蒸留し、それらの基本目的を捉えた測定可能な結果変数を導出する。 コントリビューションでは、最初のステップを説明し、後者の2ステップを形式化しています。 1つは、結果変数を導出するためのガイド付きワークフローである。 2つ目は、最大フローによる多項式時間で解いた因果DAGの最小コスト部分被覆への報酬項選択の削減である。 第三に、重み付けの幾何学的フレーミングは、既存の分離オラクル法によって解決された優先クエリによって反復的に絞り込まれる凸実現可能性問題である。 我々の知る限り、この手法は、O(n log κ) の優先クエリを持つ分離オラクルを介して所望の許容範囲に狭められた、決定論的に矛盾のない実現可能な重み付き領域を維持する最初の報酬設計手法である。

関連論文リスト

• TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition [62.56752617853322]
  アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存している。 本稿では,関数スキーマと実行時実行を直接管理する報奨フレームワークであるtrajectory-Invariant Execution Rewardsを提案する。
  論文  参考訳（メタデータ） (2026-05-16T03:47:26Z)
• P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
  本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。 P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
  論文  参考訳（メタデータ） (2026-01-28T14:35:20Z)
• Recursive Reward Aggregation [60.51668865089082]
  本稿では,報酬関数の変更を不要としたフレキシブルな行動アライメントのための代替手法を提案する。 マルコフ決定過程(MDP)の代数的視点を導入することにより、ベルマン方程式が報酬の生成と集約から自然に現れることを示す。 我々のアプローチは決定論的および決定論的設定の両方に適用され、価値に基づくアルゴリズムとアクター批判的アルゴリズムとシームレスに統合される。
  論文  参考訳（メタデータ） (2025-07-11T12:37:20Z)
• Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
  結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。 適切なアクションにクレジットを割り当てるには? 本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
  論文  参考訳（メタデータ） (2025-05-26T17:44:08Z)
• FERERO: A Flexible Framework for Preference-Guided Multi-Objective Learning [41.95837632934815]
  pREfeRence-guided Multi-Objective Learning (FERERO) のためのフレキシブルフラムワークを提案する。 この問題を解決するために、収束アルゴリズムは単一ループと原始変種の両方で開発される。 複数のベンチマーク実験により、提案手法は優先誘導最適解の探索に非常に適していることが示された。
  論文  参考訳（メタデータ） (2024-12-02T18:21:16Z)
• Uncertainty Quantification with Bayesian Higher Order ReLU KANs [0.0]
  本稿では,コルモゴロフ・アルノルドネットワークの領域における不確実性定量化手法について紹介する。 簡単な一次元関数を含む一連の閉包試験により,本手法の有効性を検証した。 本稿では,ある項を包含することで導入された機能的依存関係を正しく識別する手法の能力を実証する。
  論文  参考訳（メタデータ） (2024-10-02T15:57:18Z)
• Walking the Values in Bayesian Inverse Reinforcement Learning [66.68997022043075]
  ベイズIRLの鍵となる課題は、可能な報酬の仮説空間と可能性の間の計算的ギャップを埋めることである。 本稿では,この知見に基づく新しいマルコフ連鎖モンテカルロ法であるValueWalkを提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:52Z)
• Order-Preserving GFlowNets [0.9532413070964598]
  Generative Flow Networks (GFlowNets) は、与えられた報酬に比例した確率を持つ様々な候補をサンプリングする方法として導入された。 OP-GFNsサンプルは、学習された報酬関数に比例する確率を持ち、候補に対して与えられた(部分的な)順序に一致する。 OP-GFNの最先端性能を単目的および多目的データセットで実証する。
  論文  参考訳（メタデータ） (2023-09-30T14:06:53Z)
• Gleo-Det: Deep Convolution Feature-Guided Detector with Local Entropy Optimization for Salient Points [5.955667705173262]
  本稿では, 深い畳み込み特徴のガイダンスを伴い, 繰り返し可能性の要求に基づき, きめ細かな制約を実現することを提案する。 畳み込み特徴のガイダンスを用いて、正と負の両面からコスト関数を定義する。
  論文  参考訳（メタデータ） (2022-04-27T12:40:21Z)
• Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification [133.20816939521941]
  標準的なマルコフ決定プロセス形式では、ユーザーは報酬関数を書き留めてタスクを指定する。 多くのシナリオでは、ユーザーはタスクを単語や数字で記述できないが、タスクが解決された場合の世界がどのように見えるかを簡単に示すことができる。 この観察に動機づけられた制御アルゴリズムは、成功した結果状態の例だけを考慮すれば、成功する結果につながる確率の高い状態を訪問することを目的としている。
  論文  参考訳（メタデータ） (2021-03-23T16:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。