論文の概要: Implicit Personalization in Language Models: A Systematic Study
- arxiv url: http://arxiv.org/abs/2405.14808v2
- Date: Thu, 31 Oct 2024 14:19:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 16:59:23.707626
- Title: Implicit Personalization in Language Models: A Systematic Study
- Title（参考訳）: 言語モデルにおける暗黙のパーソナライゼーション : 体系的研究
- Authors: Zhijing Jin, Nils Heil, Jiarui Liu, Shehzaad Dhuliawala, Yahang Qi, Bernhard Schölkopf, Rada Mihalcea, Mrinmaya Sachan,
- Abstract要約: インプリシトパーソナライゼーション (IP) は、入力プロンプト内の暗黙の手がかりからユーザの背景を推測する言語モデルの現象である。
この研究は、厳密な数学的定式化、多面的道徳的推論フレームワーク、そして一連の事例研究を通じて、IPを体系的に研究する。
- 参考スコア（独自算出の注目度）: 94.29756463158853
- License:
- Abstract: Implicit Personalization (IP) is a phenomenon of language models inferring a user's background from the implicit cues in the input prompts and tailoring the response based on this inference. While previous work has touched upon various instances of this problem, there lacks a unified framework to study this behavior. This work systematically studies IP through a rigorous mathematical formulation, a multi-perspective moral reasoning framework, and a set of case studies. Our theoretical foundation for IP relies on a structural causal model and introduces a novel method, indirect intervention, to estimate the causal effect of a mediator variable that cannot be directly intervened upon. Beyond the technical approach, we also introduce a set of moral reasoning principles based on three schools of moral philosophy to study when IP may or may not be ethically appropriate. Equipped with both mathematical and ethical insights, we present three diverse case studies illustrating the varied nature of the IP problem and offer recommendations for future research. Our code is at https://github.com/jiarui-liu/IP, and our data is at https://huggingface.co/datasets/Jerry999/ImplicitPersonalizationData.
- Abstract（参考訳）: インプリシトパーソナライゼーション(IP)は、入力プロンプト内の暗黙の手がかりからユーザの背景を推測し、この推論に基づいて応答を調整する言語モデルである。
これまでの研究は、この問題のさまざまな事例に触れてきたが、この振る舞いを研究するための統一されたフレームワークは欠如している。
この研究は、厳密な数学的定式化、多面的道徳的推論フレームワーク、そして一連の事例研究を通じて、IPを体系的に研究する。
我々の理論基盤は構造因果モデルに依存しており、直接介入できない媒介変数の因果効果を推定するために、間接的介入という新しい手法を導入している。
技術的アプローチの他に、IPが倫理的に適切であるかどうかを研究するために、道徳哲学の3つの学派に基づく道徳的推論の原則も導入する。
数学的・倫理的な知見をともなう3つのケーススタディとして,知的財産権問題の性質について考察し,今後の研究を推奨する。
私たちのコードはhttps://github.com/jiarui-liu/IPにあり、データはhttps://huggingface.co/datasets/Jerry999/ImplicitPersonalizationDataにあります。
関連論文リスト
- Seeing Through VisualBERT: A Causal Adventure on Memetic Landscapes [35.36331164446824]
構造因果モデル(SCM)に基づくフレームワークを提案する。
このフレームワークでは、VisualBERTは、ミーム入力と因果概念の両方に基づいて、入力ミームのクラスを予測するように訓練されている。
入力属性法は我々のフレームワークの因果性を保証するものではないことが分かり、安全クリティカルなアプリケーションにおけるそれらの信頼性に関する疑問を提起する。
論文 参考訳（メタデータ） (2024-10-17T12:32:00Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - Contrastive Learning for Neural Topic Model [14.65513836956786]
敵対的トピックモデル(ATM)は、文書を別の異なるサンプルと区別することで、文書の意味パターンをうまくキャプチャすることができる。
最適化問題として識別目標を再定式化するための新しい手法を提案し,新しいサンプリング手法を設計する。
実験の結果、我々のフレームワークは3つの一般的なベンチマークデータセットにおいて、他の最先端のニューラルトピックモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2021-10-25T09:46:26Z) - Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。
我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。
本稿では,構文研究における様々な研究課題の意義について概説する。
論文 参考訳（メタデータ） (2021-10-17T18:25:23Z) - Learning Neural Models for Natural Language Processing in the Face of
Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。
データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。
この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。
データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文 参考訳（メタデータ） (2021-09-03T14:29:20Z) - On the Transferability of Adversarial Attacksagainst Neural Text
Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。
本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。
これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文 参考訳（メタデータ） (2020-11-17T10:45:05Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - DeVLBert: Learning Deconfounded Visio-Linguistic Representations [111.93480424791613]
ドメイン外ビオ言語事前学習の問題点について検討する。
この問題の既存の方法は、純粋に確率ベースである。
介入に基づく学習を行うために,Decon-Linguistic Bertフレームワーク(略称:DeVLBert)を提案する。
論文 参考訳（メタデータ） (2020-08-16T11:09:22Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。