論文の概要: POV Learning: Individual Alignment of Multimodal Models using Human Perception
- arxiv url: http://arxiv.org/abs/2405.04443v1
- Date: Tue, 7 May 2024 16:07:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 13:31:20.782791
- Title: POV Learning: Individual Alignment of Multimodal Models using Human Perception
- Title（参考訳）: POV学習:人間の知覚を用いたマルチモーダルモデルの個々のアライメント
- Authors: Simon Werner, Katharina Christ, Laura Bernardy, Marion G. Müller, Achim Rettinger,
- Abstract要約: 個人レベルでのアライメントは、システムと対話する個人ユーザの主観的な予測性能を高めることができると我々は主張する。
我々は、認識情報を機械学習システムに統合し、予測性能を測定することで、これを検証する。
本研究は, 個人認識信号を用いた主観的人間評価の機械学習が, 個人のアライメントに有用な手がかりとなることを示唆している。
- 参考スコア（独自算出の注目度）: 1.4796543791607086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aligning machine learning systems with human expectations is mostly attempted by training with manually vetted human behavioral samples, typically explicit feedback. This is done on a population level since the context that is capturing the subjective Point-Of-View (POV) of a concrete person in a specific situational context is not retained in the data. However, we argue that alignment on an individual level can boost the subjective predictive performance for the individual user interacting with the system considerably. Since perception differs for each person, the same situation is observed differently. Consequently, the basis for decision making and the subsequent reasoning processes and observable reactions differ. We hypothesize that individual perception patterns can be used for improving the alignment on an individual level. We test this, by integrating perception information into machine learning systems and measuring their predictive performance wrt.~individual subjective assessments. For our empirical study, we collect a novel data set of multimodal stimuli and corresponding eye tracking sequences for the novel task of Perception-Guided Crossmodal Entailment and tackle it with our Perception-Guided Multimodal Transformer. Our findings suggest that exploiting individual perception signals for the machine learning of subjective human assessments provides a valuable cue for individual alignment. It does not only improve the overall predictive performance from the point-of-view of the individual user but might also contribute to steering AI systems towards every person's individual expectations and values.
- Abstract（参考訳）: 機械学習システムを人間の期待に合わせることは、主に手動で検証された人間の行動サンプル(典型的には明示的なフィードバック)でトレーニングすることで試みられる。
これは、特定の状況下で具体的な人の主観的視点(POV)を捉えているコンテキストがデータに保持されないため、人口レベルで行われる。
しかし,個人レベルでのアライメントは,システムと対話する個人ユーザに対して,主観的な予測性能を著しく向上させる可能性があると論じる。
個人ごとに知覚が異なるため、同じ状況が観察される。
その結果、意思決定の基礎とその後の推論プロセスと観察可能な反応は異なる。
我々は、個々の知覚パターンが個々のレベルのアライメントを改善するために使用できると仮定する。
我々は、認識情報を機械学習システムに統合し、予測性能を計測することで、これを検証する。
～個別の主観評価。
実験的な研究として,知覚誘導型クロスモーダルエンタテインメントの新しいタスクに対して,マルチモーダル刺激の新たなデータセットとそれに対応するアイトラッキングシーケンスを収集し,知覚誘導型マルチモーダルトランスでそれに取り組む。
本研究は, 個人認識信号を用いた主観的人間評価の機械学習が, 個人のアライメントに有用な手がかりとなることを示唆している。
個々のユーザの視点からの全体的な予測パフォーマンスを改善するだけでなく、すべての人の個々の期待と価値観に対するAIシステムのステアリングにも貢献する可能性がある。
関連論文リスト
- Democratizing Reward Design for Personal and Representative Value-Alignment [10.1630183955549]
本稿では,対話型対話アライメント(Interactive-Reflective Dialogue Alignment)について紹介する。
本システムは,言語モデルに基づく嗜好誘導を通じて個々の価値定義を学習し,パーソナライズされた報酬モデルを構築する。
本研究は, 価値整合行動の多様な定義を示し, システムによって各人の独自の理解を正確に捉えることができることを示す。
論文 参考訳（メタデータ） (2024-10-29T16:37:01Z) - When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。
モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。
その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - Whose Preferences? Differences in Fairness Preferences and Their Impact on the Fairness of AI Utilizing Human Feedback [8.04095222893591]
我々は、人種、年齢、政治的スタンス、教育水準、LGBTQ+アノテーターのアイデンティティによって、公平さの選好に大きなギャップを見いだす。
また、テキストで言及された人口統計は、ユーザーがモデレーションにおいて個人の公平さをどう知覚するかに大きな影響を及ぼすことを示した。
論文 参考訳（メタデータ） (2024-06-09T19:42:25Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - Learning Transferable Pedestrian Representation from Multimodal
Information Supervision [174.5150760804929]
VAL-PATは、移動可能な表現を学習し、様々な歩行者分析タスクをマルチモーダル情報で強化する新しいフレームワークである。
まず、LUPerson-TAデータセットで事前トレーニングを行い、各画像にはテキストと属性アノテーションが含まれている。
次に、学習した表現を、人物のreID、人物属性認識、テキストベースの人物検索など、さまざまな下流タスクに転送する。
論文 参考訳（メタデータ） (2023-04-12T01:20:58Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Vision-Based Manipulators Need to Also See from Their Hands [58.398637422321976]
本研究では,視覚的視点の選択が,生のセンサ観測から身体操作の文脈における学習と一般化にどう影響するかを検討する。
手中心(目の)視点は可観測性を低下させるが、トレーニング効率とアウト・オブ・ディストリビューションの一般化を一貫して改善する。
論文 参考訳（メタデータ） (2022-03-15T18:46:18Z) - Beyond Tracking: Using Deep Learning to Discover Novel Interactions in
Biological Swarms [3.441021278275805]
本稿では,システムレベルの状態を全体像から直接予測するディープ・ネットワーク・モデルを提案する。
結果の予測モデルは、人間の理解した予測モデルに基づいていないため、説明モジュールを使用する。
これは、行動生態学における人工知能の例である。
論文 参考訳（メタデータ） (2021-08-20T22:50:41Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - Model-agnostic Fits for Understanding Information Seeking Patterns in
Humans [0.0]
不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。
ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。
これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
論文 参考訳（メタデータ） (2020-12-09T04:34:58Z) - Person Perception Biases Exposed: Revisiting the First Impressions
Dataset [26.412669618149106]
この研究はChaLearn First Impressionsデータベースを再考し、クラウドソーシングによるペアワイズ比較を用いてパーソナリティ知覚に注釈を付けた。
我々は、性別、民族性、年齢、顔の魅力といった認識特性に関連付けられた、既存の人の知覚バイアスを明らかにする。
論文 参考訳（メタデータ） (2020-11-30T15:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。