論文の概要: Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance

• arxiv url: http://arxiv.org/abs/2407.07950v1
• Date: Wed, 10 Jul 2024 18:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 21:48:59.204782
• Title: Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance
• Title（参考訳）: Rel-A.I.:人間-LM信頼度測定のためのインタラクション中心アプローチ
• Authors: Kaitlyn Zhou, Jena D. Hwang, Xiang Ren, Nouha Dziri, Dan Jurafsky, Maarten Sap,
• Abstract要約: 依存は世代間の相互作用の文脈における多くの要因に影響される。 本稿では,信頼度を測定するためのシステムレベルの評価手法であるRel-A.I.を紹介する。
• 参考スコア（独自算出の注目度）: 73.19687314438133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reconfiguration of human-LM interactions from simple sentence completions to complex, multi-domain, humanlike engagements necessitates new methodologies to understand how humans choose to rely on LMs. In our work, we contend that reliance is influenced by numerous factors within the interactional context of a generation, a departure from prior work that used verbalized confidence (e.g., "I'm certain the answer is...") as the key determinant of reliance. Here, we introduce Rel-A.I., an in situ, system-level evaluation approach to measure human reliance on LM-generated epistemic markers (e.g., "I think it's..", "Undoubtedly it's..."). Using this methodology, we measure reliance rates in three emergent human-LM interaction settings: long-term interactions, anthropomorphic generations, and variable subject matter. Our findings reveal that reliance is not solely based on verbalized confidence but is significantly affected by other features of the interaction context. Prior interactions, anthropomorphic cues, and subject domain all contribute to reliance variability. An expression such as, "I'm pretty sure it's...", can vary up to 20% in reliance frequency depending on its interactional context. Our work underscores the importance of context in understanding human reliance and offers future designers and researchers with a methodology to conduct such measurements.
• Abstract（参考訳）: 単純な文補完から複雑なマルチドメイン、人間のようなエンゲージメントへの人間とLMの相互作用の再構成は、人間がLMにどのように依存するかを理解するために、新しい方法論を必要とする。 我々の研究では、信頼は世代間の相互作用の文脈における多くの要因の影響を受けており、信頼の鍵となる決定要因として、言語化された信頼(例えば、"I'm certain the answer is...")を用いた先行研究から逸脱している、と論じている。 In situ, system-level evaluation approach to measure human reliance on LM- generated epistemic markers (eg , "I think it's.", "Unrectedly it's...")。 本手法を用いて, 長期的相互作用, 人為的世代, 変動対象物質という, 創発的ヒトとLMの相互作用設定における信頼度を測定した。 以上の結果から,信頼度は言語的信頼度にのみ依存するのではなく,インタラクションコンテキストの他の特徴に大きく影響していることが判明した。 先行的な相互作用、人為的な手がかり、主題領域は全て依存の変動に寄与する。 のような表現は、その相互作用の文脈によって最大20%の周波数に依存することができる。 我々の研究は、人間の信頼を理解する上での文脈の重要性を強調し、将来のデザイナーや研究者にそのような測定を行うための方法論を提供する。

関連論文リスト

• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• LEMON: Learning 3D Human-Object Interaction Relation from 2D Images [56.6123961391372]
  人間の物体と物体の相互作用関係の学習は、AIと相互作用モデリングの具体化に不可欠である。 既存のほとんどの手法は、孤立した相互作用要素を予測することを学ぶことで目標に近づいている。 本稿では,相互の相互作用意図をマイニングし,幾何相関の抽出を導出するための曲率を用いた統一モデルLEMONを提案する。
  論文  参考訳（メタデータ） (2023-12-14T14:10:57Z)
• Common (good) practices measuring trust in HRI [55.2480439325792]
  ロボットへの信頼は、人々の日常生活にロボットを取り入れるのに欠かせないと広く信じられている。 研究者たちは、人々がロボットをさまざまな方法で信頼する方法を模索してきた。 ほとんどのロボティクス学者は、信頼のレベルが不足すると解脱のリスクが生じることに同意する。
  論文  参考訳（メタデータ） (2023-11-20T20:52:10Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• BOSS: A Benchmark for Human Belief Prediction in Object-context Scenarios [14.23697277904244]
  本稿では,人間と自律システム間の協調を促進させる手法を検討するために,心の理論(ToM)とオブジェクトコンテキスト関係(Object-Context Relations)の複合知識を利用する。 本稿では、人工知能(AI)システムによる、オブジェクトコンテキストシナリオにおける人間の信念状態の予測能力を評価するための、新しい、かつ挑戦的なマルチモーダルビデオデータセットを提案する。
  論文  参考訳（メタデータ） (2022-06-21T18:29:17Z)
• Self-Selective Context for Interaction Recognition [27.866495303658404]
  本研究では,人間と物体の相互作用認識のための自己選択コンテキスト(SSC)を提案する。 SSCは、人間オブジェクトとコンテキストの合同的な外観で動作し、最も差別的なコンテキストを認識に役立てる。 実験の結果,SSCはパラメータをはるかに少なくしながら,相互作用認識性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2020-10-17T09:06:12Z)
• Interactions in information spread: quantification and interpretation using stochastic block models [3.5450828190071655]
  ソーシャルネットワークでは、ユーザーの行動は、対話する人々、フィード内のニュース、トレンドトピックから生じる。 本稿では、エンティティ間のインタラクションの役割を調査する新しいモデル、Interactive Mixed Membership Block Model (IMMSBM)を提案する。 推論タスクでは、それらを考慮すれば、結果の確率の最大150%の非相互作用モデルに対する平均的な相対的な変化につながる。
  論文  参考訳（メタデータ） (2020-04-09T14:22:10Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。