論文の概要: Jev-ToM: Evaluating Theory of Mind in Typed Decision Models
- arxiv url: http://arxiv.org/abs/2610.18610v1
- Date: Tue, 13 Oct 2026 15:59:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.669587
- Title: Jev-ToM: Evaluating Theory of Mind in Typed Decision Models
- Title（参考訳）: Jev-ToM:型決定モデルにおける心の理論の評価
- Abstract要約: 型付き決定モデルは、有界心の理論(ToM)選択のための生成的大言語モデルの潜在的な代替を提供する。
1117の英語テキスト質問に対して,5つの型付き決定モデルと7つの生成ベースラインを比較し,Jev-ToMを提案する。
- 参考スコア（独自算出の注目度）: 14.057161755768218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dialogue and collaborative assistants repeatedly judge what a partner knows, believes, or intends. Typed decision models offer a potential alternative to generative large language models for bounded Theory of Mind (ToM) selection. We present Jev-ToM, comparing five typed decision models and seven generative baselines on 11,117 English text questions from nine ToM benchmarks across six capability groups. TypeSafe Jev reaches 73.2% source-balanced accuracy including native controls and ranks first or second across all six capabilities, leading beliefs, goals/desires/intentions, and emotions. Other typed models show distinct strengths across tasks. Separate resource comparisons suggest that Jev could reduce the cost and waiting time of repeated ToM selection. Confidence-based selection remains benchmark-dependent, and supplied reasons can repair errors or overturn correct answers depending on their attachment. Candidate expansion reveals distinct selection and output-validity problems. Related-question cues account for most of Jev's downstream gains, with task-dependent effects from predicted states. The findings motivate testing Jev as a ToM selection component in assistants, with task-specific confidence calibration, candidate design, and output validation as integration priorities.
- Abstract（参考訳）: 対話と協調アシスタントは、パートナーが知っていること、信じること、意図を何度も判断する。
型付き決定モデルは、有界心の理論(ToM)選択のための生成的大言語モデルの潜在的な代替を提供する。
5つの型付き決定モデルと7つの生成ベースラインを、6つの機能グループにわたる9つのToMベンチマークから11,117の英語テキスト質問に対して比較した。
TypeSafe Jevは、ネイティブコントロールを含むソースバランスの正確度73.2%に達し、主要な信念、目標/希望/意図、感情の6つの機能で1位または2位にランクインしている。
他の型付きモデルはタスク間で異なる強みを示す。
リソースの比較は、Jevが繰り返しToMの選択のコストと待ち時間を削減できることを示している。
信頼に基づく選択はベンチマークに依存しており、供給された理由はエラーを修復したり、アタッチメントに応じて正しい回答を覆すことができる。
候補拡大は、異なる選択と出力値の問題を明らかにする。
関連するクエストの手がかりは、予測された状態からタスク依存の影響を伴って、Jevの下流のゲインの大半を占めている。
その結果、JevをアシスタントのToM選択コンポーネントとしてテストし、タスク固有の信頼性キャリブレーション、候補設計、出力バリデーションを統合優先として実施した。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs [42.764309070274784]
Jevはその迅速で一般化可能な意思決定でかなりの注目を集めている。
本研究は15の医療データセットにまたがる様々なシステム・ワンの意思決定モデルを比較した。
以上の結果から,Jevは主にテキスト駆動型タスクにおいて先行するモデルと競合するが,数値駆動型タスクでは効果が低いことが示唆された。
論文 参考訳（メタデータ） (2026-10-13T15:15:46Z) - SecJev: Bringing Security Expertise to System One Decision Models [9.833223904195675]
セキュリティには、複雑な観察と明確なポリシーを決定に変換するモデルが必要です。
セキュリティに特化した、Jevライクな意思決定モデルの最初のファミリーであるSecJevを紹介します。
SecJev-Corpusは、14のタスクと8つのソースにまたがって、ソースラベルの予測と明示的な政治評価を統合する。
論文 参考訳（メタデータ） (2026-10-02T09:57:05Z) - Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。
タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。
その結果、自動決定ゲートの条件依存ルールが得られる。
論文 参考訳（メタデータ） (2026-09-29T19:57:59Z) - Emo-Jev: Probabilistic Reasoning for Emotion Classification with Jev [5.757221318813801]
Emo-Jevは2つの補完的な実装を備えたトレーニング不要のフレームワークである。
Emo-Jevはタスク固有の原子判断に分類を分解し、その確率を最終的な予測に分解する。
Standard Jevは平均マクロF1を62.93%、最強のLCMベースラインを67.28%で達成し、観測レイテンシが低く、一般的に低コストである。
論文 参考訳（メタデータ） (2026-09-27T01:35:32Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - UniRRM: Unified Reasoning Reward Models Across Languages and Evaluation Paradigms [61.47798381713363]
強化学習(Reinforcement Learning, RL)は、検証可能な報酬を伴うタスクを抜粋するが、オープンなタスクでは報酬モデルの信頼性が重要な課題である。
生成的報酬モデルに関する最近の研究は、有望な代替手段を提供するが、静的評価基準、断片化評価パラダイム、限定多言語サポートに制約されている。
我々は,複数の言語と評価パラダイムをサポートする統一推論報酬モデルである textbfUniRRM を提案する。
論文 参考訳（メタデータ） (2026-09-05T06:05:12Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering [57.12316804290369]
ユーザ固有の情報ニーズに質問応答システムを適用するためには,パーソナライゼーションが不可欠である。
本稿では,タスク固有の微調整を必要とせず,任意の大規模言語モデル (LLM) に適用可能な推論段階の方法として,思考の経路 (PoT) を提案する。
PoTは競争ベースラインを一貫して上回り、13.1%の相対的な改善を達成している。
論文 参考訳（メタデータ） (2025-09-23T14:44:46Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。