論文の概要: Prosocial Behavior Detection in Player Game Chat: From Aligning Human-AI Definitions to Efficient Annotation at Scale
- arxiv url: http://arxiv.org/abs/2508.05938v1
- Date: Fri, 08 Aug 2025 02:04:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:06.047098
- Title: Prosocial Behavior Detection in Player Game Chat: From Aligning Human-AI Definitions to Efficient Annotation at Scale
- Title（参考訳）: プレイヤゲームチャットにおける社会的行動検出:人間-AI定義の調整からスケールでの効率的なアノテーションへ
- Authors: Rafal Kocielnik, Min Kim, Penphob, Boonyarungsrit, Fereshteh Soltani, Deshawn Sambrano, Animashree Anandkumar, R. Michael Alvarez,
- Abstract要約: 社会性は、信頼と安全システムにとって、新しくてますます重要な課題である。
有毒な内容の検出とは異なり、社会性には明確な定義やラベル付きデータがない。
本稿では,スケーラブルで高精度なプロソシエタリコンテンツ分類を可能にする,実用的な3段階パイプラインを提案する。
- 参考スコア（独自算出の注目度）: 42.9822726298117
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Detecting prosociality in text--communication intended to affirm, support, or improve others' behavior--is a novel and increasingly important challenge for trust and safety systems. Unlike toxic content detection, prosociality lacks well-established definitions and labeled data, requiring new approaches to both annotation and deployment. We present a practical, three-stage pipeline that enables scalable, high-precision prosocial content classification while minimizing human labeling effort and inference costs. First, we identify the best LLM-based labeling strategy using a small seed set of human-labeled examples. We then introduce a human-AI refinement loop, where annotators review high-disagreement cases between GPT-4 and humans to iteratively clarify and expand the task definition-a critical step for emerging annotation tasks like prosociality. This process results in improved label quality and definition alignment. Finally, we synthesize 10k high-quality labels using GPT-4 and train a two-stage inference system: a lightweight classifier handles high-confidence predictions, while only $\sim$35\% of ambiguous instances are escalated to GPT-4o. This architecture reduces inference costs by $\sim$70% while achieving high precision ($\sim$0.90). Our pipeline demonstrates how targeted human-AI interaction, careful task formulation, and deployment-aware architecture design can unlock scalable solutions for novel responsible AI tasks.
- Abstract（参考訳）: コミュニケーションは、他人の行動を肯定し、支援し、改善することを目的としており、信頼と安全システムにとって新しく、ますます重要な課題である。
有毒なコンテンツ検出とは異なり、プロソシエティには明確な定義やラベル付きデータがなく、アノテーションとデプロイメントの両方に新しいアプローチが必要である。
本稿では,人間のラベル付け作業と推論コストを最小限に抑えつつ,スケーラブルで高精度なプロ社会コンテンツ分類を可能にする実用的な3段階パイプラインを提案する。
まず、人間ラベル付きサンプルの小さなシードセットを用いて、LLMに基づく最高のラベル付け戦略を同定する。
次に,GPT-4と人間の間の高分解能ケースをアノテータがレビューし,タスク定義を反復的に明確化し,拡張するヒューマンAI改善ループを導入する。
このプロセスにより、ラベルの品質と定義アライメントが改善される。
最後に、GPT-4を用いて10kの高品質なラベルを合成し、2段階の推論システムを訓練する: 軽量分類器は高い信頼度予測を処理し、不明瞭なインスタンスの$\sim$35\%はGPT-4oにエスカレーションされる。
このアーキテクチャは推論コストを$\sim$70%削減し、高い精度($\sim$0.90)を達成する。
私たちのパイプラインは、ターゲットとする人間とAIのインタラクション、注意深いタスクの定式化、デプロイメントを意識したアーキテクチャ設計が、新しい責任を持つAIタスクに対してスケーラブルなソリューションをアンロックする方法を実証しています。
関連論文リスト
- How Good Are Synthetic Requirements ? Evaluating LLM-Generated Datasets for AI4RE [0.5156484100374059]
本稿では,合成要求データを生成するための改良された製品ラインアプローチを提案する。
提案する4つの研究課題は,データ品質にどのような影響を及ぼすか,また,自動的なプロンプト最適化,およびポストジェネレーションのキュレーションについて検討する。
以上の結果から, 人工的な要件は, 特定のタスクにおいて, 人為的な要件と一致し, より優れる可能性が示唆された。
論文 参考訳（メタデータ） (2025-06-26T10:52:07Z) - Personalized Constitutionally-Aligned Agentic Superego: Secure AI Behavior Aligned to Diverse Human Values [0.6640968473398455]
スーパーエゴエージェントは、ユーザーが選択した「クリードコンスティチューション」を参照してAIプランニングを操縦する
制度は、これらの憲法と処刑前の普遍的な倫理的フロアに対する計画を検証する。
論文 参考訳（メタデータ） (2025-06-08T20:31:26Z) - Label-Aware Hyperbolic Embeddings for Fine-grained Emotion
Classification [11.973115466838717]
きめ細かい感情分類(FEC)は難しい課題である。
FECはラベル間の微妙なニュアンスを扱う必要がある。
既存のモデルの多くはユークリッド空間におけるテキスト分類の問題にのみ対応している。
ハイプエモ(HypEmo)は, ハイプエモ(HypEmo)という, ハイプエモ(HypEmo)という, ハイプエモ(HypEmo)という, ハイプエモ(HypEmo)という, ハイプエモ(HypEmo
論文 参考訳（メタデータ） (2023-06-26T16:28:33Z) - Beyond Active Learning: Leveraging the Full Potential of Human
Interaction via Auto-Labeling, Human Correction, and Human Verification [3.58439716487063]
Active Learning(AL)は、データインスタンスをインタラクティブかつ適応的にラベル付けする、ヒューマン・イン・ザ・ループのフレームワークである。
CLARIFIERは人間との対話をより効果的に活用できる対話型学習フレームワークである。
論文 参考訳（メタデータ） (2023-06-02T05:40:11Z) - Active Learning For Contextual Linear Optimization: A Margin-Based Approach [6.09977411428684]
ラベル取得アルゴリズムを導入し、ラベルなしデータからラベルの特徴サンプルの要求を逐次決定する。
ラベルが取得されたサンプルの数として定義されるラベル複雑性の上限を導出する。
提案アルゴリズムは,教師付き学習手法よりもラベルの複雑さがはるかに小さいことを示す。
論文 参考訳（メタデータ） (2023-05-11T05:44:36Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳（メタデータ） (2022-06-20T15:25:08Z) - Unsupervised Domain Adaptive Salient Object Detection Through
Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。
提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-26T16:03:55Z) - Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive
Person Re-Identification [54.174146346387204]
ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。
擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。
本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
論文 参考訳（メタデータ） (2021-12-28T07:40:12Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳（メタデータ） (2020-10-07T22:29:05Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。