論文の概要: Causal Inference for Human-Language Model Collaboration
- arxiv url: http://arxiv.org/abs/2404.00207v1
- Date: Sat, 30 Mar 2024 01:08:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 06:46:13.646924
- Title: Causal Inference for Human-Language Model Collaboration
- Title(参考訳): ヒューマンランゲージモデル協調のための因果推論
- Authors: Bohan Zhang, Yixin Wang, Paramveer S. Dhillon,
- Abstract要約: 動的人間-LM協調における様々な相互作用戦略のISEを推定するアルゴリズムであるCausalCollabを開発した。
3つの異なる人間とLMのコラボレーションシナリオに関する実証的な調査は、CausalCollabが効果的にコンバウンドを減らすことを示しています。
- 参考スコア(独自算出の注目度): 24.096991077437146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we examine the collaborative dynamics between humans and language models (LMs), where the interactions typically involve LMs proposing text segments and humans editing or responding to these proposals. Productive engagement with LMs in such scenarios necessitates that humans discern effective text-based interaction strategies, such as editing and response styles, from historical human-LM interactions. This objective is inherently causal, driven by the counterfactual `what-if' question: how would the outcome of collaboration change if humans employed a different text editing/refinement strategy? A key challenge in answering this causal inference question is formulating an appropriate causal estimand: the conventional average treatment effect (ATE) estimand is inapplicable to text-based treatments due to their high dimensionality. To address this concern, we introduce a new causal estimand -- Incremental Stylistic Effect (ISE) -- which characterizes the average impact of infinitesimally shifting a text towards a specific style, such as increasing formality. We establish the conditions for the non-parametric identification of ISE. Building on this, we develop CausalCollab, an algorithm designed to estimate the ISE of various interaction strategies in dynamic human-LM collaborations. Our empirical investigations across three distinct human-LM collaboration scenarios reveal that CausalCollab effectively reduces confounding and significantly improves counterfactual estimation over a set of competitive baselines.
- Abstract(参考訳): 本稿では,人間と言語モデル(LM)の協調的ダイナミクスについて考察する。
このようなシナリオにおけるLMとのプロダクティブエンゲージメントは、人間が編集やレスポンススタイルといった効果的なテキストベースのインタラクション戦略を、歴史的人間とLMのインタラクションから区別する必要がある。
この目的は本質的に因果的であり、反ファクト的な「What-if」質問によって推進される。人間が異なるテキスト編集/修正戦略を採用した場合、コラボレーションの結果はどのように変化するのか?
この因果推論問題に答える上で重要な課題は、適切な因果推定を定式化することである:従来の平均治療効果(ATE)推定は、その高次元性のためにテキストベースの治療には適用できない。
この問題に対処するために、我々は、形式性の向上など、テキストを特定のスタイルに無限にシフトする平均的な影響を特徴付ける、新しい因果推定(Incrmental Stylistic Effect, ISE)を導入する。
ISEの非パラメトリック同定の条件を確立する。
そこで我々は,動的人間-LMコラボレーションにおける様々なインタラクション戦略のISEを推定するアルゴリズムCausalCollabを開発した。
3つの異なる人間とLMのコラボレーションシナリオに関する実証研究により、CausalCollabは、競合するベースラインの集合に対する共起を効果的に低減し、対実推定を大幅に改善することが明らかとなった。
関連論文リスト
- The Impact of Human Aspects on the Interactions Between Software Developers and End-Users in Software Engineering: A Systematic Literature Review [10.307654003138401]
本稿では,開発者とユーザ間のインタラクションに影響を及ぼす人的側面に関する研究を体系的にレビューする。
46研究において,開発者とユーザ間のインタラクションに影響を与えるさまざまなヒューマン側面を同定した。
本研究は, 開発者とユーザ間のインタラクションにおいて, ポジティブな効果を活用し, ネガティブな効果に対処することの重要性を示唆する。
論文 参考訳(メタデータ) (2024-05-08T03:38:36Z) - THOR: Text to Human-Object Interaction Diffusion via Relation Intervention [51.02435289160616]
我々は、リレーショナルインターベンション(THOR)を用いたテキスト誘導型ヒューマンオブジェクト相互作用拡散モデルを提案する。
各拡散段階において、テキスト誘導された人間と物体の動きを開始し、その後、人と物体の関係を利用して物体の動きに介入する。
テキスト記述をシームレスに統合するText2HOIデータセットであるText-BEHAVEを,現在最大規模で公開されている3D HOIデータセットに構築する。
論文 参考訳(メタデータ) (2024-03-17T13:17:25Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - Sensitivity, Performance, Robustness: Deconstructing the Effect of
Sociodemographic Prompting [64.80538055623842]
社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。
ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
論文 参考訳(メタデータ) (2023-09-13T15:42:06Z) - Re-mine, Learn and Reason: Exploring the Cross-modal Semantic
Correlations for Language-guided HOI detection [57.13665112065285]
ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。
本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-25T14:20:52Z) - HIINT: Historical, Intra- and Inter- personal Dynamics Modeling with
Cross-person Memory Transformer [38.92436852096451]
クロスパーソンメモリトランスフォーマー(CPM-T)フレームワークは、感情力学を明示的にモデル化することができる。
CPM-Tフレームワークはメモリモジュールを維持し、会話ウィンドウ内のコンテキストを保存および更新する。
共同作業,ラップポート,人的信念予測の3つの公開データセットに対して,提案手法の有効性と一般化性を評価する。
論文 参考訳(メタデータ) (2023-05-21T06:43:35Z) - CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。
このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。
ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T18:31:50Z) - Adaptive Bridge between Training and Inference for Dialogue [36.64781557775641]
そこで本研究では,新たな適応型スイッチング機構を提案する。
提案手法は,メートル法に基づく評価と人的評価の観点から,大幅な改善を実現している。
論文 参考訳(メタデータ) (2021-10-22T02:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。