論文の概要: Strategic Evaluation: Subjects, Evaluators, and Society
- arxiv url: http://arxiv.org/abs/2310.03655v1
- Date: Thu, 5 Oct 2023 16:33:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 15:21:08.331455
- Title: Strategic Evaluation: Subjects, Evaluators, and Society
- Title（参考訳）: 戦略的評価 : 課題,評価者,社会
- Authors: Benjamin Laufer, Jon Kleinberg, Karen Levy, Helen Nissenbaum
- Abstract要約: 評価自体の設計は、評価者の持つ目標をさらに進めるものとして理解することができると論じる。
3つの相互作用エージェントを用いた評価のプロセスを表現するモデルを提案した。
評価者をその戦略として扱うことで、意思決定対象に向けられた精査を再放送することができます。
- 参考スコア（独自算出の注目度）: 1.1606619391009658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A broad current application of algorithms is in formal and quantitative
measures of murky concepts -- like merit -- to make decisions. When people
strategically respond to these sorts of evaluations in order to gain favorable
decision outcomes, their behavior can be subjected to moral judgments. They may
be described as 'gaming the system' or 'cheating,' or (in other cases)
investing 'honest effort' or 'improving.' Machine learning literature on
strategic behavior has tried to describe these dynamics by emphasizing the
efforts expended by decision subjects hoping to obtain a more favorable
assessment -- some works offer ways to preempt or prevent such manipulations,
some differentiate 'gaming' from 'improvement' behavior, while others aim to
measure the effort burden or disparate effects of classification systems. We
begin from a different starting point: that the design of an evaluation itself
can be understood as furthering goals held by the evaluator which may be
misaligned with broader societal goals. To develop the idea that evaluation
represents a strategic interaction in which both the evaluator and the subject
of their evaluation are operating out of self-interest, we put forward a model
that represents the process of evaluation using three interacting agents: a
decision subject, an evaluator, and society, representing a bundle of values
and oversight mechanisms. We highlight our model's applicability to a number of
social systems where one or two players strategically undermine the others'
interests to advance their own. Treating evaluators as themselves strategic
allows us to re-cast the scrutiny directed at decision subjects, towards the
incentives that underpin institutional designs of evaluations. The moral
standing of strategic behaviors often depend on the moral standing of the
evaluations and incentives that provoke such behaviors.
- Abstract（参考訳）: アルゴリズムの現在の幅広い応用は、決定を下すために、形式的かつ定量的に不正な概念を計測することである。
これらの評価に戦略的に反応して良好な意思決定結果を得る場合、その行動は道徳的判断を受けることができる。
「システム」や「噛む」、あるいは(時には)「真剣な努力」や「改善」に投資したともいえる。
戦略行動に関する機械学習の文献は、より好ましい評価を期待する意思決定者による努力を強調して、これらのダイナミクスを記述しようと試みている。ある研究は、そのような操作をプリエンプあるいは防止する方法を提供し、ある研究は「改善」の振る舞いと「ゲーム」を区別する一方で、ある研究は、分類システムの労力の負担や異なる効果を計測することを目的としている。
評価自体の設計は、より広い社会的目標と不一致である可能性がある評価者によって達成される目標をさらに進めるものとして理解することができる。
評価対象は,評価対象と評価対象の両方が自己関心から外れた戦略的相互作用を表すものであるという考えを,意思決定対象,評価対象,社会の3つの相互作用エージェントを用いた評価プロセスを表現するモデルを提案し,評価対象と評価対象のセットと監視機構を表わす。
我々は,1人ないし2人のプレイヤーが他者の利益を戦略的に損なう社会システムへの我々のモデルの適用性を強調する。
評価者自身を戦略的に扱うことで、評価の制度設計を支えるインセンティブに向けて、意思決定対象に向けられた精査を再考することができる。
戦略的行動の道徳的立場は、しばしばそのような行動を引き起こす評価やインセンティブの道徳的立場に依存する。
関連論文リスト
- The Double-Edged Sword of Behavioral Responses in Strategic Classification: Theory and User Studies [7.695481260089599]
本稿では,アルゴリズムに対する人間の反応の行動バイアスを考慮した戦略的分類モデルを提案する。
分類器の誤認が、偏りのあるエージェントと合理的なエージェントの反応の異なるタイプの相違をもたらすことを示す。
行動バイアスのある戦略的エージェントは、完全に合理的な戦略エージェントと比較して、会社に利益をもたらすか、または(予想外の)害を与える可能性があることを示す。
論文 参考訳（メタデータ） (2024-10-23T17:42:54Z) - (De)Noise: Moderating the Inconsistency Between Human Decision-Makers [15.291993233528526]
本研究では, アルゴリズムによる意思決定支援が, 不動産評価の文脈における人間の意思決定の不整合度を緩和するのに有効かどうかを検討する。
i) アルゴリズムによって選択されたペアワイド比較において, 回答者に見積をレビューするよう求めることと, (ii) 従来の機械的アドバイスを回答者に提供することは, 人間の反応に影響を与える効果的な方法であることがわかった。
論文 参考訳（メタデータ） (2024-07-15T20:24:36Z) - Learning under Imitative Strategic Behavior with Unforeseeable Outcomes [14.80947863438795]
個人と意思決定者間の相互作用をモデル化するStackelbergゲームを提案する。
両者の目的的差異を3つの解釈可能な項に分解できることを示す。
論文 参考訳（メタデータ） (2024-05-03T00:53:58Z) - LLM as a Mastermind: A Survey of Strategic Reasoning with Large Language Models [75.89014602596673]
戦略推論は、戦略を調整しながら、マルチエージェント設定における敵の行動を理解し、予測する必要がある。
大規模言語モデルを用いた戦略的推論に関連するスコープ,アプリケーション,方法論,評価指標について検討する。
戦略的推論を重要な認知能力として重要視し、将来の研究の方向性や潜在的な改善に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳（メタデータ） (2022-05-09T19:28:32Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳（メタデータ） (2022-03-14T17:40:42Z) - Improving Peer Assessment with Graph Convolutional Networks [2.105564340986074]
ピアアセスメントは専門家による評価ほど正確ではないかもしれない。
まず,様々なピアアセスメント設定を表現可能なマルチリレーショナル重み付きネットワークとして,ピアアセスメントをモデル化する。
本稿では,評価パターンとユーザ動作を学習し,専門家の評価をより正確に予測するグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-11-04T03:43:09Z) - Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。
我々はこのような操作を検出する方法の設計に重点を置いている。
具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
論文 参考訳（メタデータ） (2020-10-08T15:08:40Z) - Learning "What-if" Explanations for Sequential Decision-Making [92.8311073739295]
実世界の意思決定の解釈可能なパラメータ化を実証行動に基づいて構築することが不可欠である。
そこで我々は,「何」の結果に対する嗜好の観点から,報酬関数をモデル化し,専門家による意思決定の学習的説明を提案する。
本研究は,行動の正確かつ解釈可能な記述を回復する上で,実効的逆強化学習手法であるバッチの有効性を強調した。
論文 参考訳（メタデータ） (2020-07-02T14:24:17Z) - Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。
我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
論文 参考訳（メタデータ） (2020-04-21T03:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。