論文の概要: Causal Inference for Human-Language Model Collaboration

• arxiv url: http://arxiv.org/abs/2404.00207v1
• Date: Sat, 30 Mar 2024 01:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 06:46:13.646924
• Title: Causal Inference for Human-Language Model Collaboration
• Title（参考訳）: ヒューマンランゲージモデル協調のための因果推論
• Authors: Bohan Zhang, Yixin Wang, Paramveer S. Dhillon,
• Abstract要約: 動的人間-LM協調における様々な相互作用戦略のISEを推定するアルゴリズムであるCausalCollabを開発した。 3つの異なる人間とLMのコラボレーションシナリオに関する実証的な調査は、CausalCollabが効果的にコンバウンドを減らすことを示しています。
• 参考スコア（独自算出の注目度）: 24.096991077437146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we examine the collaborative dynamics between humans and language models (LMs), where the interactions typically involve LMs proposing text segments and humans editing or responding to these proposals. Productive engagement with LMs in such scenarios necessitates that humans discern effective text-based interaction strategies, such as editing and response styles, from historical human-LM interactions. This objective is inherently causal, driven by the counterfactual `what-if' question: how would the outcome of collaboration change if humans employed a different text editing/refinement strategy? A key challenge in answering this causal inference question is formulating an appropriate causal estimand: the conventional average treatment effect (ATE) estimand is inapplicable to text-based treatments due to their high dimensionality. To address this concern, we introduce a new causal estimand -- Incremental Stylistic Effect (ISE) -- which characterizes the average impact of infinitesimally shifting a text towards a specific style, such as increasing formality. We establish the conditions for the non-parametric identification of ISE. Building on this, we develop CausalCollab, an algorithm designed to estimate the ISE of various interaction strategies in dynamic human-LM collaborations. Our empirical investigations across three distinct human-LM collaboration scenarios reveal that CausalCollab effectively reduces confounding and significantly improves counterfactual estimation over a set of competitive baselines.
• Abstract（参考訳）: 本稿では,人間と言語モデル(LM)の協調的ダイナミクスについて考察する。 このようなシナリオにおけるLMとのプロダクティブエンゲージメントは、人間が編集やレスポンススタイルといった効果的なテキストベースのインタラクション戦略を、歴史的人間とLMのインタラクションから区別する必要がある。 この目的は本質的に因果的であり、反ファクト的な「What-if」質問によって推進される。人間が異なるテキスト編集/修正戦略を採用した場合、コラボレーションの結果はどのように変化するのか? この因果推論問題に答える上で重要な課題は、適切な因果推定を定式化することである:従来の平均治療効果(ATE)推定は、その高次元性のためにテキストベースの治療には適用できない。 この問題に対処するために、我々は、形式性の向上など、テキストを特定のスタイルに無限にシフトする平均的な影響を特徴付ける、新しい因果推定(Incrmental Stylistic Effect, ISE)を導入する。 ISEの非パラメトリック同定の条件を確立する。 そこで我々は,動的人間-LMコラボレーションにおける様々なインタラクション戦略のISEを推定するアルゴリズムCausalCollabを開発した。 3つの異なる人間とLMのコラボレーションシナリオに関する実証研究により、CausalCollabは、競合するベースラインの集合に対する共起を効果的に低減し、対実推定を大幅に改善することが明らかとなった。

関連論文リスト

• Estimating Causal Effects of Text Interventions Leveraging LLMs [7.2937547395453315]
  本稿では,大規模言語モデル(LLM)により促進されるテキスト変換を用いて因果効果を推定する手法を提案する。 既存の手法とは異なり、本手法は任意のテキスト介入に対応し、ドメイン適応能力を持つテキストレベル分類器を用いて、ドメインシフトに対するロバストな効果推定を生成する。 この様々なテキスト介入を扱う柔軟性は、テキストデータの因果推定において重要な進歩であり、人間の振る舞いをよりよく理解し、社会システム内で効果的なポリシーを開発する機会を提供する。
  論文  参考訳（メタデータ） (2024-10-28T19:19:35Z)
• Towards Safer Online Spaces: Simulating and Assessing Intervention Strategies for Eating Disorder Discussions [2.752488721131003]
  本稿では,ED関連議論における介入戦略のシミュレーションと評価のための新しい実験ベッドを提案する。 本フレームワークは,複数のプラットフォーム,モデル,ED関連トピック間の合成会話を生成する。 様々な介入戦略が4次元にわたる会話のダイナミクスに与える影響を解析する。
  論文  参考訳（メタデータ） (2024-09-06T06:27:35Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• THOR: Text to Human-Object Interaction Diffusion via Relation Intervention [51.02435289160616]
  我々は、リレーショナルインターベンション(THOR)を用いたテキスト誘導型ヒューマンオブジェクト相互作用拡散モデルを提案する。 各拡散段階において、テキスト誘導された人間と物体の動きを開始し、その後、人と物体の関係を利用して物体の動きに介入する。 テキスト記述をシームレスに統合するText2HOIデータセットであるText-BEHAVEを,現在最大規模で公開されている3D HOIデータセットに構築する。
  論文  参考訳（メタデータ） (2024-03-17T13:17:25Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
  クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。 このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。 ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T18:31:50Z)
• Adaptive Bridge between Training and Inference for Dialogue [36.64781557775641]
  そこで本研究では,新たな適応型スイッチング機構を提案する。 提案手法は,メートル法に基づく評価と人的評価の観点から,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2021-10-22T02:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。