論文の概要: Equitable Evaluation via Elicitation
- arxiv url: http://arxiv.org/abs/2602.21327v1
- Date: Tue, 24 Feb 2026 19:50:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.590948
- Title: Equitable Evaluation via Elicitation
- Title(参考訳): 省エネによる等価評価
- Authors: Elbert Du, Cynthia Dwork, Lunjia Hu, Reid McIlroy-Young, Han Shao, Linjun Zhang,
- Abstract要約: スキルを引き出すための対話型AIを構築し、同時に個人が自分の声で話すことができるようにします。
そのようなシステムは、例えば、新しいユーザがプロフェッショナルなネットワーキングプラットフォームに参加する場合や、企業の再編成時に従業員が必要とするものと一致する場合など、デプロイすることができる。
- 参考スコア(独自算出の注目度): 29.90638228564623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Individuals with similar qualifications and skills may vary in their demeanor, or outward manner: some tend toward self-promotion while others are modest to the point of omitting crucial information. Comparing the self-descriptions of equally qualified job-seekers with different self-presentation styles is therefore problematic. We build an interactive AI for skill elicitation that provides accurate determination of skills while simultaneously allowing individuals to speak in their own voice. Such a system can be deployed, for example, when a new user joins a professional networking platform, or when matching employees to needs during a company reorganization. To obtain sufficient training data, we train an LLM to act as synthetic humans. Elicitation mitigates endogenous bias arising from individuals' own self-reports. To address systematic model bias we enforce a mathematically rigorous notion of equitability ensuring that the covariance between self-presentation manner and skill evaluation error is small.
- Abstract(参考訳): 同様の資格とスキルを持つ個人は、デマナー、または外向きの方法で異なる場合があり、一部は自己宣伝に傾向があり、他方は重要な情報を省略する点に控えめである。
したがって、適格な求職者の自己記述を異なる自己表現スタイルで比較することは問題となる。
スキルを引き出すための対話型AIを構築し、同時に個人が自分の声で話すことができるようにします。
そのようなシステムは、例えば、新しいユーザがプロフェッショナルなネットワーキングプラットフォームに参加する場合や、企業の再編成時に従業員が必要とするものと一致する場合など、デプロイすることができる。
十分なトレーニングデータを得るために,LLMを人工人間として機能するように訓練する。
引用は個人の自己報告から生じる内因性バイアスを緩和する。
体系的なモデルバイアスに対処するために、我々は、自己表現の方法とスキル評価の誤差の共分散が小さいことを保証する、数学的に厳密な等式性の概念を強制する。
関連論文リスト
- Automated Multiple Mini Interview (MMI) Scoring [5.277507079014855]
現状の理性に基づく微調整手法は,Mini-Interviewsの抽象的,文脈依存的な性質に苦慮していることを示す。
本稿では,評価プロセスを書き起こし改良と基準固有スコアに分解するマルチエージェントプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-02T17:20:25Z) - From Classification to Ranking: Enhancing LLM Reasoning Capabilities for MBTI Personality Detection [25.825456002235967]
パーソナリティ検出は、ソーシャルメディア投稿を通じて個人の性格特性を測定することを目的としている。
既存のアプローチは、Large Language Models (LLMs)を活用してパーソナリティ特性分析を促進する
本稿では,人格検出のための強化学習訓練パラダイムを提案する。
論文 参考訳(メタデータ) (2026-01-26T15:28:43Z) - Consistently Simulating Human Personas with Multi-Turn Reinforcement Learning [52.07170679746533]
大規模言語モデル(LLM)は、セラピー、教育、社会的役割プレイといったインタラクティブな環境において、人間のユーザをシミュレートするためにますます使われています。
LLM生成対話におけるペルソナの一貫性の評価と改善のための統一的なフレームワークを提案する。
我々は3つの自動メトリクス、即行一貫性、行間一貫性、Q&A一貫性を定義し、異なるタイプのペルソナドリフトをキャプチャし、それぞれが人間のアノテーションに対して検証する。
論文 参考訳(メタデータ) (2025-10-31T19:40:41Z) - Evaluating the Simulation of Human Personality-Driven Susceptibility to Misinformation with LLMs [0.18416014644193066]
大規模言語モデル(LLM)により、大規模に合成行動データを生成することができる。
我々は,誤情報に対する個人的影響の変動を再現するために,Big-Fiveプロファイルに規定されたLLMエージェントの能力を評価する。
論文 参考訳(メタデータ) (2025-06-30T08:16:07Z) - Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。
我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。
提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-02-14T15:52:42Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs [13.262711792955377]
本研究では,Large Language Models (LLMs) のエッセイ自動評価における有効性について検討した。
本稿では,デュアルプロセス理論にインスパイアされたオープンソースのLLMベースのAESシステムを提案する。
本システムでは, 学習過程の自動化だけでなく, 成績や効率の向上も図っている。
論文 参考訳(メタデータ) (2024-01-12T07:50:10Z) - SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。
LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。
数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文 参考訳(メタデータ) (2023-10-01T00:52:24Z) - Large Language Models Can Infer Psychological Dispositions of Social Media Users [1.0923877073891446]
GPT-3.5とGPT-4は、ゼロショット学習シナリオにおいて、ユーザのFacebookステータス更新からビッグファイブの性格特性を導出できるかどうかを検証する。
その結果, LLM-inferred と self-reported trait score の間には r =.29 (range = [.22,.33]) の相関が認められた。
予測は、いくつかの特徴について、女性と若い個人にとってより正確であることが判明し、基礎となるトレーニングデータやオンライン自己表現の違いから生じる潜在的なバイアスが示唆された。
論文 参考訳(メタデータ) (2023-09-13T01:27:48Z) - Optimising Equal Opportunity Fairness in Model Training [60.0947291284978]
既存のデバイアス法、例えば、敵の訓練や、表現から保護された情報を取り除くことは、バイアスを減らすことが示されている。
2つの新たな学習目標を提案し,2つの分類課題における高い性能を維持しつつ,バイアスの低減に有効であることを示す。
論文 参考訳(メタデータ) (2022-05-05T01:57:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。