論文の概要: Dataset Signatures in Human-LLM Interactions and User Modeling

• arxiv url: http://arxiv.org/abs/2610.05534v1
• Date: Sun, 04 Oct 2026 20:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:11:34.397304
• Title: Dataset Signatures in Human-LLM Interactions and User Modeling
• Title（参考訳）: 人間-LLMインタラクションにおけるデータセットシグナチャとユーザモデリング
• Abstract要約: 多くのデータセットが、人間とLLMの相互作用を代表的に捉えようと試みている。 これらの質問は、7つの会話データセットにまたがって調査し、チャットログと人間の嗜好データにまたがる。 データセットシグネチャがこれらのデータセットでトレーニングされたユーザモデルの出力にどのように伝播するか、ユーザモデリングに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 6.7854099296311965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human--LLM interaction datasets shape our understanding of AI use and provide a foundation for downstream research, including training and evaluation of user models. In recent years, a growing number of datasets have sought to capture a representative picture of human--LLM interactions. But how different are the pictures these datasets provide, and what do those differences mean for research built on them? We study these questions across seven conversation datasets, spanning in-the-wild chat logs and human preference data. We begin by revisiting the dataset classification experiment of Torralba & Efros and find that neural network classifiers identify the source of a conversation from user messages alone well above chance, indicating distinctive dataset signatures. This separability persists after matching datasets on the dimensions of human-designed taxonomies, implying subtle differences that these taxonomies do not capture. We then examine the implications for user modeling: how dataset signatures propagate to the outputs of user models trained on these datasets; how dataset choice influences evaluations of user model quality and subsequent evaluations of LLM assistants paired with these user models; and how dataset classifiers can guide data selection for training user models. While each dataset is meant to capture a slice of 'real-world' interactions, our findings reveal the extent to which these slices diverge, and the consequences of those differences for research built on these foundations.
• Abstract（参考訳）: 人間-LLMインタラクションデータセットは、AI使用に対する理解を形成し、ユーザモデルのトレーニングや評価を含む下流研究の基礎を提供する。近年では、人間-LLMインタラクションの代表的なイメージを捉えようとするデータセットが増えている。 しかし、これらのデータセットが与える画像と、それらの違いは、それらの上に構築された研究にどんな意味があるのか? これらの質問は、7つの会話データセットにまたがって調査し、チャットログと人間の嗜好データにまたがる。 まず、Torralba & Efrosのデータセット分類実験を再考し、ニューラルネットワーク分類器がユーザーメッセージからの会話の発信元を偶然よりはるかに早く特定し、独特のデータセットシグネチャを示す。 この分離性は、人間によって設計された分類学の次元に関するデータセットが一致した後も持続し、これらの分類学が捉えないという微妙な違いを示唆している。 データセットシグネチャがこれらのデータセットでトレーニングされたユーザモデルのアウトプットにどのように伝播するか、データセットの選択がユーザモデルの品質評価にどのように影響するか、LLMアシスタントとこれらのユーザモデルと組み合わせた後の評価、データセット分類器がユーザモデルをトレーニングするためのデータ選択をガイドする方法など、ユーザモデリングに与える影響について検討する。 各データセットは「現実世界」のインタラクションのスライスをキャプチャすることを目的としていますが、これらのスライスがどのように分散するか、そしてこれらの基礎の上に構築された研究におけるこれらの違いの結果が明らかになりました。

関連論文リスト

• Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training [1.3980986259786223]
  データセットの多様性が視覚モデルの性能に影響を及ぼすことを示す。 本研究は,テストセットの精度とデータの多様性との間に正の相関関係を示す。 これらの結果は我々の仮説を支持し、形式的なデータの多様性がモデルの性能にどのように影響するかをより深く探究するための有望な方法を示す。
  論文  参考訳（メタデータ） (2025-01-15T00:56:59Z)
• Chatting Up Attachment: Using LLMs to Predict Adult Bonds [0.0]
  GPT-4とClaude 3 Opusを使用して、さまざまなプロファイル、子供時代の記憶、アタッチメントスタイルを持つ大人をシミュレートするエージェントを作成します。 我々は,同一の面接プロトコルを施行し,精神保健専門家によって分析・ラベル付けされた9人のヒトの転写データセットを用いて,我々のモデルを評価した。 以上の結果から,合成データのみを用いたモデルトレーニングは,人間のデータを用いたモデルトレーニングに匹敵する性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2024-08-31T04:29:19Z)
• Diffusion Models as Data Mining Tools [87.77999285241219]
  本稿では、画像合成のために訓練された生成モデルを視覚データマイニングのツールとして利用する方法について述べる。 特定のデータセットから画像を合成するために条件拡散モデルを微調整した後、これらのモデルを用いて典型性尺度を定義することができることを示す。 この尺度は、地理的位置、タイムスタンプ、セマンティックラベル、さらには病気の存在など、異なるデータラベルに対する典型的な視覚的要素がどのように存在するかを評価する。
  論文  参考訳（メタデータ） (2024-07-20T17:14:31Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Self-supervised Activity Representation Learning with Incremental Data: An Empirical Study [7.782045150068569]
  本研究では,時系列分類タスクにおける自己教師付き表現学習モデルの利用が及ぼす影響について検討する。 4つの公開データセットにおいて,ラベル付きデータのサイズ,分布,ソースが最終分類性能に与える影響を解析した。
  論文  参考訳（メタデータ） (2023-05-01T01:39:55Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• A Note on Data Biases in Generative Models [16.86600007830682]
  生成モデルの性能に及ぼすデータセット品質の影響について検討する。 生成モデルによりデータセットの社会的バイアスがどのように再現されるかを示す。 本稿では,写真,油絵,アニメなどの多様なデータセット間の非ペア転送を通じて,クリエイティブな応用を提示する。
  論文  参考訳（メタデータ） (2020-12-04T10:46:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。