論文の概要: A Controlled Audit of Personal AI Memory for Rating Prediction
- arxiv url: http://arxiv.org/abs/2610.02764v1
- Date: Fri, 02 Oct 2026 03:43:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.199437
- Title: A Controlled Audit of Personal AI Memory for Rating Prediction
- Title（参考訳）: レーティング予測のためのパーソナルAIメモリの制御された監査
- Abstract要約: コントロールをフルヒストリ、ネイティブメモリ抽出、および数値リーダーと組み合わせて、CoatとMovieLensの400の保持ユーザプロファイルと6160のターゲットレーティングを公開フリーで評価する。
Coatでは、テストされたQwenで書かれたMem0パイプラインにより、Qwenでは0.084、Phiでは0.149で、ユーザ-マクロ平均絶対誤差が増大する。
歴史のみのリッジリーダーは、両方のドメインでQwen、MovieLensではPhiを上回り、Coat Phiの比較は未解決である。
- 参考スコア（独自算出の注目度）: 2.731113456484581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In structured rating prediction, does a personal AI use historical item-rating associations, or mainly the user's rating tendencies? We audit this distinction by permuting historical ratings within each user while preserving the exact rating distribution, item support, and metadata. We combine this control with full history, native memory extraction, and matched numerical readers in a publicly frozen evaluation of 400 held-out user profiles and 6,160 target ratings across Coat and MovieLens. On Coat, the tested Qwen-written Mem0 pipeline increases user-macro mean absolute error relative to full history by 0.084 for Qwen and 0.149 for Phi; both family-adjusted bootstrap intervals exclude zero. Correct historical assignments help both readers on Coat, but the corresponding MovieLens effects are smaller and inconclusive after adjustment. A history-only ridge reader outperforms Qwen in both domains and Phi on MovieLens, while the Coat Phi comparison is unresolved. All 2,800 reader calls, including 150 invalid outputs, are retained under a fixed fallback rule. A separate implementation verifies inputs, metrics, and all ten primary contrasts. The contribution is a reproducible diagnostic study showing why extraction, association use, output reliability, and reader choice require separate evaluation.
- Abstract（参考訳）: 構造化されたレーティング予測では、個人AIは歴史的アイテムレーティング・アソシエーションを使うのか、それとも主にユーザのレーティング傾向を使うのか?
我々は、正確な評価分布、アイテムサポート、メタデータを保持しながら、各ユーザー内での履歴評価を順にすることで、この区別を監査する。
我々は、この制御をフルヒストリ、ネイティブメモリ抽出、および数値リーダーと組み合わせて、CoatとMovieLensの400の保持ユーザプロファイルと6160のターゲットレーティングの公開凍結評価を行った。
Coatでは、テストされたQwenで書かれたMem0パイプラインは、Qwenでは0.084、Phiでは0.149、ユーザ-マクロ平均絶対誤差はゼロである。
正確な歴史的課題は、双方の読者がコートについているのに役立つが、対応するMovieLens効果は調整後に小さく、不確定である。
歴史のみのリッジリーダーは、両方のドメインでQwen、MovieLensではPhiを上回り、Coat Phiの比較は未解決である。
150の無効な出力を含む2800のリーダコールはすべて、固定フォールバックルールの下で保持される。
別個の実装では、インプット、メトリクス、および10の主要なコントラストをすべて検証する。
このコントリビューションは、なぜ抽出、関連利用、出力信頼性、読者選択が別々の評価を必要とするのかを示す再現可能な診断研究である。
関連論文リスト
- TWIST: A Proposed Benchmark for Intervention Quality in Conversational Memory, with a Human-Validated Draft-Alignment [0.0]
TWISTは、補完的かつ未測定なプロパティ、介入品質のためのベンチマークスイートである。
4つのトラックは、未解決の緊張検知をカバーし、現在の信念に応えて、記録に反するドラフトを検証している。
システムTWISTプロファイルはリコールスコアの他に、メモリがいつ介入すべきかを計測する。
論文 参考訳（メタデータ） (2026-09-23T12:25:28Z) - When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。
観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。
完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
論文 参考訳（メタデータ） (2026-09-21T07:06:37Z) - On Scope Classification and Current Knowledge-Editing Benchmarks: A Negative Result, with INLAY as a Gradient-Free Case Study [0.0]
INLAYは、クエリごとの正確な真実を得るために作られた勾配のないエディタである。
我々は3つのデータセットと3つの入力条件にまたがる1,689のクエリに対して、すべての候補ルータアクションを実行する。
棄権は1,689回中0回のみの勝利である。
論文 参考訳（メタデータ） (2026-08-26T18:16:24Z) - Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。
人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
論文 参考訳（メタデータ） (2026-08-26T14:41:24Z) - RECAP: Feedback-Driven Streaming Semantic User Profiles for Short-Video Recommendation [74.86562505934961]
言語ベースのユーザプロファイルは、長い行動履歴をレコメンデーションのために明示的な意味表現に変換する。
そこでは,ストリームやプロファイルの更新を限定的に行うことで,ユーザの行動が継続的に到着する,実世界のショートビデオレコメンデーションにおいて,この問題について検討する。
本稿では,ストリーミング構造化されたセマンティックプロファイルを過去のレコメンデーションフィードバックで最適化するためのオフラインクローズドループフレームワークRECAPを提案する。
論文 参考訳（メタデータ） (2026-07-17T08:10:37Z) - Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。
ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。
提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
論文 参考訳（メタデータ） (2026-06-14T16:13:15Z) - Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。
静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。
実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文 参考訳（メタデータ） (2026-05-29T17:00:55Z) - Addressing Personalized Bias for Unbiased Learning to Rank [56.663619153713434]
Unbiased Learning to rank (ULTR)は、バイアスのあるユーザの行動ログからバイアスのないランキングモデルを学ぶことを目的としている。
そこで本研究では,学習からランクへの目標値を求めるために,新しいユーザ認識逆確率スコア推定器を提案する。
論文 参考訳（メタデータ） (2025-08-28T14:01:31Z) - Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。
本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
論文 参考訳（メタデータ） (2024-08-20T14:29:23Z) - Learning Personalized Alignment for Evaluating Open-ended Text Generation [44.565686959174585]
PerSEは、特定の人間の好みに合わせてアライメントを評価するために設計された解釈可能な評価フレームワークである。
テキスト内個人プロファイルから特定の好みを推測し、生成されたコンテンツと個人の好みとの整合性を評価するように調整される。
当社の13B LLaMA-2ベースのPerSEは、ケダル相関が15.8%増加し、ゼロショットレビュアーによる13.7%の精度向上を示している。
論文 参考訳（メタデータ） (2023-10-05T04:15:48Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。