論文の概要: Beyond Recall: Behavioral Specification as an Interpretive Layer for AI Personalization
- arxiv url: http://arxiv.org/abs/2605.28969v1
- Date: Wed, 27 May 2026 18:18:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.147617
- Title: Beyond Recall: Behavioral Specification as an Interpretive Layer for AI Personalization
- Title（参考訳）: Beyond Recall: AIパーソナライゼーションのための解釈レイヤとしての行動仕様
- Abstract要約: 人間の解釈をいかに忠実に捉えているかを測定するために,表現精度を導入する。
我々は,保留行動予測のプロトタイプベンチマークで仕様を評価する。
我々は、表現精度はリコールと異なるものであり、人間とAIのアライメントは、ユーザがどれだけ正確に表現されているかに依存していると結論づける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: If an AI agent makes decisions on a person's behalf, those decisions must align with its user. We introduce representational accuracy to measure how faithfully a system captures a person's interpretation. An interpretive layer is operationalized as a Behavioral Specification. Our reference implementation aggressively compresses a person's data into interpretive patterns, served as context to a language model. We evaluate the Specification on a prototype benchmark of held-out behavioral predictions scored by a calibrated 5-judge LLM panel. We test it independently and in composition with a range of context conditions: full raw corpus, full extracted facts, and four commercial memory systems (Mem0, Letta, Supermemory, Zep). Across 14 public-domain autobiographical corpora, the Specification lifts representational accuracy in aggregate and nearly eliminates model hedging. It recovers most of what the raw corpus delivers, at ~25x less context cost. The Specification lifts subjects toward a common predictive level regardless of pretraining baseline; the lift in absolute points is therefore largest where the baseline is lowest, suggesting the population of relevance is anyone not adequately represented in pretraining. Lift is greatest on interpretation-required questions, where providing an interpretive layer enables model behavior that extracted facts or raw corpus do not. Conversely, on recall-required questions, this layer can interfere rather than help. We conclude that representational accuracy is distinct from recall and that human-AI alignment is dependent on how accurately the user is represented. Representational accuracy makes that alignment testable.
- Abstract（参考訳）: AIエージェントが人に代わって意思決定を行う場合、その決定はユーザと一致しなければならない。
人間の解釈をいかに忠実に捉えているかを測定するために,表現精度を導入する。
解釈層は振舞い仕様として運用される。
我々の参照実装は、人のデータを解釈パターンに積極的に圧縮し、言語モデルへのコンテキストとして機能する。
キャリブレーションされた5-judge LLMパネルを用いて, ホールドアウト行動予測のプロトタイプベンチマークの評価を行った。
我々は,完全生コーパス,完全抽出事実,商用メモリシステム(Mem0,Leta,SuperMemory,Zep)の4つのコンテキスト条件で,独立かつ構成的にテストする。
14のパブリックドメインの自叙伝コーパスを通じて、仕様書は集合における表現精度を引き上げ、モデルのヘッジをほぼ排除する。
生のコーパスがもたらすほとんどのものを、約25倍のコストで回復する。
したがって、絶対点の昇降は、基準線が最低の地点で最大であり、関連性の人口は、事前訓練で適切に表現されていないことを示唆している。
解釈層を提供することで、事実や生のコーパスを抽出しないモデル行動が可能になる。
逆に、リコール要求の質問では、このレイヤは助けではなく干渉する可能性がある。
我々は、表現精度はリコールと異なるものであり、人間とAIのアライメントは、ユーザがどれだけ正確に表現されているかに依存していると結論づける。
表現精度は、そのアライメントをテスト可能にします。
関連論文リスト
- Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳（メタデータ） (2026-08-20T06:26:03Z) - CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship [7.643253506288442]
既存のベンチマークでは、手書きのシナリオを使用し、シミュレーターを誘導する。
対話型バイリンガルベンチマークCompanionBenchを紹介する。
実際のデータにシナリオとトレーニングされたユーザーシミュレータの両方を基盤とした最初のコンパニオンベンチマークである。
論文 参考訳（メタデータ） (2026-08-03T10:44:04Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - Learning Self-Interpretation from Interpretability Artifacts: Training Lightweight Adapters on Vector-Label Pairs [1.028001761831691]
自己解釈法は言語モデルに自身の内部状態を記述するよう促す。
本報告では,LMを完全に凍結する一方で,軽量アダプタの操作性を向上させることで,信頼性の高い自己解釈が得られることを示す。
論文 参考訳（メタデータ） (2026-02-10T22:50:02Z) - Regularization Through Reasoning: Systematic Improvements in Language Model Classification via Explanation-Enhanced Fine-Tuning [2.247737938202007]
細調整中に各ラベルに簡単な説明を付けると、より優れたモデルが得られるかどうかを評価する。
我々は、人間による説明を、構文的に不整合でありながら原文と一致するテキストに置き換える。
この効果はデータセットにまたがって持続し、種子を訓練することで、ゲインは構造よりも意味から生じないことを示している。
論文 参考訳（メタデータ） (2025-11-03T20:25:42Z) - Leveraging Large Language Models for Predictive Analysis of Human Misery [1.2458057399345226]
本研究では,Large Language Models (LLMs) を用いて,人間に知覚された悲惨なスコアを予測する。
我々は、ゼロショット、固定コンテキスト、検索に基づくプロンプトを含む複数のプロンプト戦略を評価する。
静的評価を超えて,テレビフォーマットに触発された新たなゲーム化フレームワークである"Misery Game Show"を導入する。
論文 参考訳（メタデータ） (2025-08-18T07:02:59Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z) - Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。
AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
論文 参考訳（メタデータ） (2021-09-25T22:53:24Z) - Fast and Robust Unsupervised Contextual Biasing for Speech Recognition [16.557586847398778]
明示的な文脈言語モデルを必要としない代替手法を提案する。
学習コーパスからシステム語彙の各単語に対するバイアススコアを導出する。
関連するコンテキストが利用できる場合,認識精度が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-05-04T17:29:59Z) - Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。
MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。
これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
論文 参考訳（メタデータ） (2020-03-27T09:35:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。