論文の概要: Multimodal Person Concept Model for Person Identification under Varying Observation Conditions
- arxiv url: http://arxiv.org/abs/2611.17802v1
- Date: Fri, 13 Nov 2026 06:30:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.316875
- Title: Multimodal Person Concept Model for Person Identification under Varying Observation Conditions
- Title(参考訳): 変動観測条件下での人物識別のためのマルチモーダル人物概念モデル
- Abstract要約: 本研究では,少数の観察者から人の概念を学習するマルチモーダルな人物概念モデルを提案する。
Contrastive Language-Image Pre-training (CLIP) と Contrastive Language-Audio Pretraining (CLAP) を用いて抽出した視覚的・音響的・言語的特徴を統合する。
8つの条件に対して平均的に評価されたモデルでは、観測結果から人物概念の数を推定しながら、識別精度が0.89に達した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Service robots in domestic and office environments must identify users to provide personalized services based on their preferences and previous interactions. This is challenging because only a few observations may be available for learning, while observation conditions change owing to appearance, environmental noise, and utterance content. To address this challenge, this study proposes a multimodal person concept model that learns person concepts from a small number of observations, without person labels, and enables robust identification under changing conditions. The model employs a nonparametric Bayesian generative model based on the Chinese restaurant process and integrates visual, acoustic, and linguistic features extracted using Contrastive Language-Image Pre-training (CLIP) and Contrastive Language-Audio Pretraining (CLAP), followed by principal component analysis (PCA). We evaluated six participants under eight conditions in which appearance changes, additive noise, and transcription errors were introduced individually and in combination. Averaged over the eight conditions, the proposed model achieved an identification accuracy of 0.89 while inferring the number of person concepts from the observations, which is comparable to k-means clustering that was supplied with the true number of participants (0.88). We also examined PCA dimensionality, modality availability, and variation strength, and demonstrated the model on a Toyota Human Support Robot. These results show that multimodal person concept learning supports robust person identification under changing conditions, and that identification can succeed even when the number of concepts is not correctly recovered. The project page and demonstration video are available at https://okitamisan01.github.io/person_concept/.
- Abstract(参考訳): 国内およびオフィス環境におけるサービスロボットは、ユーザの好みや以前のインタラクションに基づいて、パーソナライズされたサービスを提供するユーザを特定する必要がある。
これは、外見、環境騒音、発話内容によって観測条件が変化しているのに対して、学習にはいくつかの観察しか利用できないためである。
そこで本研究では,個人ラベルを使わずに少数の観察から個人概念を学習し,変化する条件下でのロバストな識別を可能にするマルチモーダル・パーソン概念モデルを提案する。
このモデルは、中国のレストランプロセスに基づく非パラメトリックベイズ生成モデルを採用し、コントラスト言語-画像事前学習(CLIP)とコントラスト言語-監査事前学習(CLAP)を用いて抽出された視覚的、音響的、言語的特徴を統合し、続いて主成分分析(PCA)を行う。
外観変化, 付加音, 転写誤りをそれぞれ, 組み合わせて導入した8つの条件下で6人の被験者を評価した。
8つの条件に比較して,提案モデルでは,実際の参加者数0.88で供給されたk平均クラスタリングに匹敵する人物概念の数を推定しながら,0.89の識別精度を達成した。
また,PCAの寸法,モダリティの可用性,変動強度について検討し,Toyota Human Support Robot上で実験を行った。
これらの結果から,マルチモーダル・パーソン・コンセプト・ラーニングは,変化条件下での頑健な個人識別をサポートし,概念数が正しく回復していない場合でも,その識別が成功する可能性が示唆された。
プロジェクトページとデモビデオはhttps://okitamisan01.github.io/person_concept/.comで公開されている。
関連論文リスト
- Recursive State-Augmented Language Models: Persistent Latent-State Adaptation of Pretrained Language Models [0.0]
言語モデルは有限トークンコンテキストに依存しており、以前のインタラクションへのアクセスを制限する。
本稿では,持続的な潜伏状態が観測毎に進化するフレームワークであるRecursive State-Augmented Language Models (Recursive SALM)を紹介する。
実験により、持続的な潜伏条件付き適応は、デコーダコンテキストから前のエビデンスが欠如している場合に、シーケンシャルな推論をサポートすることが示された。
論文 参考訳(メタデータ) (2026-11-12T06:42:54Z) - VISTA: Auditing Semantic Divergence in Vision-Language Models [10.934702002803434]
視覚言語モデルは視覚的概念条件の発散を示すことができる。
視覚的な概念は、テキストトークンを分離したり、置き換えたりできないため、これらの振る舞いは、テキストのみの監査を回避する。
VISTAは,意味エントロピーと分布に基づく発散と,フラグモデル固有の異常とを結合したブラックボックス・クロスモデル監査である。
論文 参考訳(メタデータ) (2026-07-03T06:21:26Z) - EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics [86.49781345669436]
言語モデルは事前学習からかなりの評価知識を符号化する。
現在のポストトレーニング手法は、報酬信号を生成するために外部の監督に依存している。
EVOLMは、モデルの評価能力を明示的な識別的ルーブリックに構造化する手法である。
論文 参考訳(メタデータ) (2026-05-05T15:31:00Z) - A Multimodal Framework for Aligning Human Linguistic Descriptions with Visual Perceptual Data [0.0]
人間の参照解釈の中核的な側面をモデル化する計算フレームワークを提案する。
スタンフォード・リピート・レファレンス・ゲーム・コーパス(Stanford Repeated Reference Game corpus)のモデルを評価する。
その結果, 比較的単純な知覚言語的アライメント機構は, 人間の競争行動をもたらすことが示唆された。
論文 参考訳(メタデータ) (2026-02-23T07:20:11Z) - SD-ReID: View-aware Stable Diffusion for Aerial-Ground Person Re-Identification [74.36139886192495]
本稿では,AG-ReID のための SD-ReID という新しい生成フレームワークを提案する。
まず、ViTベースのモデルを用いて人物表現を抽出し、個人性や視認性を含む制御可能な条件を抽出する。
次に、安定拡散(SD)モデルを微調整し、これらの制御可能な条件によって導かれる人物表現を強化する。
論文 参考訳(メタデータ) (2025-04-13T12:44:50Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based
Disparities [19.03751960721954]
ゼロショット視覚言語モデルが、異なる視覚タスクに対してジェンダーバイアスを示す範囲について検討する。
概念の集合にまたがって複数のデータセットを持つ異なる視覚言語モデルを評価する。
論文 参考訳(メタデータ) (2023-01-26T13:44:31Z) - Localization vs. Semantics: Visual Representations in Unimodal and
Multimodal Models [57.08925810659545]
既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。
我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。
我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
論文 参考訳(メタデータ) (2022-12-01T05:00:18Z) - An Open-source Benchmark of Deep Learning Models for Audio-visual
Apparent and Self-reported Personality Recognition [10.59440995582639]
パーソナリティは、人間の日常生活や作業行動の多様さを決定づけ、人間の内外的状態を理解するのに不可欠である。
近年,非言語的音声視覚行動に基づいて,対象者の見かけの個性や自己報告の個性を予測するために,多数の自動パーソナリティコンピューティング手法が開発されている。
一貫性のある実験的な設定の標準ベンチマークがないため、これらのパーソナリティコンピューティングモデルの実際の性能を適切に比較することは不可能であり、再現も困難である。
既存の8つのパーソナリティ・コンピューティング・モデルに対して公平かつ一貫した評価を提供するために,最初の再現可能な音声視覚ベンチマーク・フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-17T14:40:04Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。