論文の概要: Individual Text Corpora Predict User-Specific Knowledge: Benchmarks of Individualized Knowledge Simulation
- arxiv url: http://arxiv.org/abs/2609.08532v1
- Date: Tue, 08 Sep 2026 10:19:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 16:20:22.844007
- Title: Individual Text Corpora Predict User-Specific Knowledge: Benchmarks of Individualized Knowledge Simulation
- Title（参考訳）: 個人テキストコーパスによるユーザ特有の知識予測:個別知識シミュレーションのベンチマーク
- Abstract要約: 本研究は,検索履歴から個々のテキストコーパス(IC)を用いて個々の知識をシミュレートできるかどうかを検討する。
対象は成人316名で,36項目の知識項目に回答し,複数の大規模言語モデル(LLM)を比較した。
Low-Rank Adaptation (LoRA) によるタスク固有の微調整の後、Qwen3-1.7Bは参加者とドイツ代表の標準標本を公開アイテムで上回った。
- 参考スコア（独自算出の注目度）: 37.90336748891877
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines whether individual text corpora (ICs) from search histories can be used to simulate individual knowledge. We collected ICs from 316 adults, who answered 36 multiple-choice knowledge items, and compared several large language models (LLMs) on this task, of which only Qwen3-1.7B proved viable. After task-specific fine-tuning via Low-Rank Adaptation (LoRA), Qwen3-1.7B outperformed both participants and a representative German norm sample on publicly available items. On non-public questions, however, the LLM performed worse than our participants, suggesting possible training data contamination for the public questions. When integrating ICs into retrieval-augmented generation to predict individual responses, LLM-participant Match accuracies significantly exceeded chance, which demonstrates a detectable individual knowledge signal. The probabilities assigned to the participants' answers were, however, low and far below the probability of correct answers, indicating poor calibration toward individual response patterns. Knowledge-gap prediction was sub-optimal, though it improved for corpora exceeding five million tokens. We discuss our entropy based evaluation benchmarks as calibration indices for individualized knowledge simulation.
- Abstract（参考訳）: 本研究は,検索履歴から個々のテキストコーパス(IC)を用いて個々の知識をシミュレートできるかどうかを検討する。
316人の成人のICを収集し,36項目の多選択知識項目に回答し,この課題における複数の大規模言語モデル(LLM)を比較し,Qwen3-1.7Bのみを有効とした。
Low-Rank Adaptation (LoRA) によるタスク固有の微調整の後、Qwen3-1.7Bは参加者とドイツ代表の標準標本を公開アイテムで上回った。
しかし,非公的な質問に対して,LSMは我々の参加者よりも優れており,公的な質問に対するトレーニングデータ汚染の可能性も示唆された。
ICを検索強化世代に統合して個々の応答を予測すると、LCM参加者のマッチング精度は確率を大幅に上回り、検出可能な個人知識信号が示される。
被験者の回答に割り当てられた確率は, 正解の確率より低く, 極端に低く, 個々の反応パターンに対する校正が不十分であった。
知識ギャップ予測は準最適であったが、500万以上のトークンのコーパスを改善した。
本稿では,個別知識シミュレーションのためのキャリブレーション指標として,エントロピーに基づく評価ベンチマークについて論じる。
関連論文リスト
- Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳（メタデータ） (2026-08-20T06:26:03Z) - Boosting Self-Consistency with Ranking [56.38798757709555]
自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。
この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
論文 参考訳（メタデータ） (2026-06-03T16:12:30Z) - When Can Digital Personas Reliably Approximate Human Survey Findings? [0.8411771830145969]
大規模言語モデル(LLM)を利用したデジタルペルソナは、人間の調査回答者の代用としてますます提案されている。
人間の調査結果を確実に近似できる時期は、まだ不明である。
我々は、回答者の背景変数と2023年以前の調査履歴からペルソナを構築し、同じ回答者の保留後の回答に対してテストする。
論文 参考訳（メタデータ） (2026-05-11T14:41:11Z) - Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys [0.0]
大規模言語モデルは低コストで総合的なサーベイ応答を生成することができるが、その精度は質問によって予測不可能に変化する。
各タスクに安価なLCM予測が利用できる場合, 評価タスク全体にわたって, ヒトの定型予算を割り当てる設計問題について検討する。
まず、予測パワー推論に基づいて、推定器のばらつきがヒトのサンプルサイズでどれだけ早く減少するかを判断する、疑問特異的な補正の難しさを特徴付ける。
第2に,LLMの信頼性が低いタスクに対して,より人間的なラベルを指示するクローズドフォームの最適アロケーションルールを導出する。
論文 参考訳（メタデータ） (2026-04-19T05:45:37Z) - Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data [54.145424717168794]
大きな言語モデル(LLM)は、目覚ましい人間のような能力を示しているが、特定の個人を複製する能力は未発見のままである。
本稿では,10年以上にわたるプライベートメッセージ履歴のボランティア配信アーカイブを用いて,LSMに基づく個人シミュレーションのケーススタディを提案する。
本研究は,ボランティアの知人が,最も有望な多候補プール内の応答を正確に識別できるかどうかを評価するための「個別チューリングテスト」を提案する。
論文 参考訳（メタデータ） (2026-03-01T21:46:27Z) - Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering [57.12316804290369]
ユーザ固有の情報ニーズに質問応答システムを適用するためには,パーソナライゼーションが不可欠である。
本稿では,タスク固有の微調整を必要とせず,任意の大規模言語モデル (LLM) に適用可能な推論段階の方法として,思考の経路 (PoT) を提案する。
PoTは競争ベースラインを一貫して上回り、13.1%の相対的な改善を達成している。
論文 参考訳（メタデータ） (2025-09-23T14:44:46Z) - Emulating Public Opinion: A Proof-of-Concept of AI-Generated Synthetic Survey Responses for the Chilean Case [0.0]
大規模言語モデル (LLMs) は、調査研究における方法論的および応用的な革新のための有望な道を提供する。
チリの世論確率論的調査から, LLM生成型人工サーベイ応答の信頼性を評価する。
論文 参考訳（メタデータ） (2025-09-11T21:43:59Z) - Ranking Generated Answers: On the Agreement of Retrieval Models with Humans on Consumer Health Questions [25.158868133182025]
本稿では,生成型大規模言語モデル(LLM)の出力を評価する手法を提案する。
我々は、注釈付き文書コレクションで訓練されたランキングモデルを、明示的な妥当性の代用として用いている。
ユーザ研究において,本手法は人間専門家の嗜好と相関する。
論文 参考訳（メタデータ） (2024-08-19T09:27:45Z) - Individual Text Corpora Predict Openness, Interests, Knowledge and Level of Education [0.5825410941577593]
個々の検索履歴から経験への開放性の個性次元を予測することができる。
個々のテキストコーパス(IC)は,平均500万ワードトークン数214人の参加者から生成される。
論文 参考訳（メタデータ） (2024-03-29T21:44:24Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-01T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。