論文の概要: JaleesBench: Are AI Assistants Good Spiritual Company?
- arxiv url: http://arxiv.org/abs/2608.07508v1
- Date: Sat, 27 Jun 2026 11:59:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.171421
- Title: JaleesBench: Are AI Assistants Good Spiritual Company?
- Title（参考訳）: JaleesBench: AIアシスタントは良いスピリチュアル企業か?
- Abstract要約: JaleesBenchは、AIエージェントが正しい仲間であるかどうかを測定する。
古典的な編纂物から作られた140の2ターンシナリオで構成されている。
この構造は、信仰全般であり、私たちはこれを、計画されたクロストラディション・ファミリーの最初のものとして、イスラム教のためにインスタンス化します。
- 参考スコア（独自算出の注目度）: 0.5371337604556311
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are already advisors to millions of people of faith who bring them real decisions. The pressing question for a person of faith is not what a model knows or professes but what its counsel does to the person who receives it. We introduce JaleesBench, which measures whether an AI agent is a righteous companion, judged by the residue an exchange leaves on the user, in the manner of the perfume-seller and the blacksmith. It comprises 140 two-turn scenarios drawn from a classical compilation organized by virtue (Riyad al-Salihin), under six adversarial pressures and three framings, scored by two frontier judges against each scenario's own supporting texts. Across eight systems: (1) generic frontier models are only middling companions out of the box but a one-page guide makes them genuinely good ones, on par with the domain-tuned assistant: the frontier APIs climb from +0.28/+0.23 to a Guided +0.84-0.87, so most of the expert's edge is companionship instruction that fits in a prompt; (2) every system caves under relational pressure, insistence and personal appeal; (3) the domain-tuned assistant's advantage is overwhelmingly its retrieval-and-prompting layer, not its base model (+0.74 over the identical underlying model); and (4) it can be used to improve existing systems: guided by its diagnosis, a single steadfastness instruction lifts a deployed Islamic assistant from +0.48 to +0.84 (Faith unstated, after pressure), matching the best guided frontier systems while preserving first-response quality. The construct is faith-general; we instantiate it for Islam as the first of a planned cross-tradition family. Code, scenario bank, and rubric are open source (github.com/iaser-ai/jaleesbench), with an interactive results browser at s.iaser.ai/jb.
- Abstract（参考訳）: 大規模言語モデルは、すでに何百万人もの信条の助言者であり、真の決定をもたらしている。
信仰者に対する圧力的な疑問は、モデルが何を知っているかや、何の告訴を受けているかではなく、そのカウンセラーがそれを受け取った人に何をするかである。
本稿では,AIエージェントが正当であるか否かを,香水販売業者や鍛冶屋のやり方で,交換残余によって判断されるJaleesBenchを紹介する。
リヤド・アル=サリヒン(Riyad al-Salihin)によって組織された古典的な編纂物(Riyad al-Salihin)から引き出された140の2ターンシナリオと、各シナリオの支持するテキストに対して2人のフロンティア判事が得点した3つのフレーミングからなる。
1) ジェネリックフロンティアモデルは、ボックスから中途半端にしかありませんが、1ページのガイドは、ドメインチューニングされたアシスタントと同等の、真に良いものを提供します。フロンティアAPIは、+0.28/+0.23からa Guided +0.84-0.87に上昇します。したがって、専門家のエッジの大部分は、プロンプトに適合するコンパニオンシップ命令です。
この構造は、信仰全般であり、私たちはこれを、計画されたクロストラディション・ファミリーの最初のものとして、イスラム教のためにインスタンス化します。
コード、シナリオバンク、ルーブリックはオープンソース(github.com/iaser-ai/jaleesbench)で、s.iaser.ai/jbでインタラクティブな結果ブラウザを提供する。
関連論文リスト
- Mind or Message? Auditing Theory of Mind in Multi-Agent Social Simulation [17.51404403306176]
言語モデルエージェントは、社会的相互作用をシミュレートするためにますます使われています。
我々は、その外見がパートナーの心のモデルか、パートナーが言ったことの表面記録にかかっているか尋ねる。
私たちは、両方の質問が正確な答えを持つ社会シミュレーションを構築します。
論文 参考訳（メタデータ） (2026-09-21T05:58:28Z) - FaithfulBench: Does AI Counsel Uphold or Undermine the User's Professed Faith? [35.66388956277304]
私たちはFaithfulBenchを紹介します。AIカウンセリングを従来の方法で評価する最初のベンチマークです。
我々は,5つのフロンティアモデルを3つの条件下でテストする。AIはユーザの伝統を知らない,1行のプロンプトでユーザを実践的な支持者として識別する,あるいは伝統の情報源に根ざした協力的カウンセラーガイドを受け取る,という3つの条件下でテストする。
2人の審査員が最初の反応と、ユーザーが望む回答に圧力をかけられたときに、モデルが穴をあけるか、保持されるかを決めます。
論文 参考訳（メタデータ） (2026-09-12T00:55:11Z) - SkillAtlas: An Attack Trace Library for Agent Skills [67.18648151130607]
我々は、プライベートエージェントスキルセキュリティレポートバンドルをレビュー、修正、検索可能なパブリックケースに変換する、ホストされた攻撃トレースライブラリであるSkillAtlasを紹介する。
図書館には3,014のケース、6,589のトレース、151,131のステップ、233の影響を受けたスキル、8のリスクカテゴリが含まれている。
論文 参考訳（メタデータ） (2026-09-11T16:44:39Z) - ArtSociety: Multi-Agent Multimodal Collaboration for Art Emotion Understanding [87.14995143531998]
ArtSocietyは異質なマルチモーダルエキスパートを組み立てるマルチエージェントフレームワークである。
タスクルーティングポリシは、ハード感情タスクをフル5エージェントアンサンブルに誘導する。
ArtSocietyは公式テストセットで0.8870のスコアを達成した。
論文 参考訳（メタデータ） (2026-09-03T11:25:15Z) - Creativity, honesty and designed forgetting emerge in small hyperbolic language models [0.0]
言語モデルはスケールに最適化されているが、相補的ではなく機能的である。
アシスタントが仲間にパーソナライズされると、それは静かに誰かになり、そのユーザーを傷つける特性を静かに取得できる。
仲間が何になり、何になる価値があるのかは、信頼できる手段を持っていません。
ここでは、3つの小さな言語モデルが双曲的基質を共有していることを示す。
論文 参考訳（メタデータ） (2026-07-10T11:39:40Z) - Ansari: A Retrieval-Grounded Islamic AI Assistant -- Architecture, Deployment, and Lessons from 140,000 Conversations [0.43748379918040853]
Ansariは、2023年6月以来14万件以上の会話を処理してきた、検索機能を備えたイスラムAIアシスタントだ。
その答えは、検索したものに基づいてのみ答え、検証のために引用がアタッチされる。
認定機関試験におけるゼロショット性能、ラマダンでの人格評価、アンサリが現在、フロンティアモデルよりも上位にある2つの独立した外部ベンチマークなど、いくつかの相補的な評価結果について報告する。
論文 参考訳（メタデータ） (2026-06-30T20:17:22Z) - A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models [1.2691047660244335]
Anthropic, Fable 5, Opus 4.8 によって開発された2つの大言語モデル (LLM) の対角的ロバスト性を評価する。
数十万の敵対的試みが生成され、明らかな成功はすべて独立して調整された。
論文 参考訳（メタデータ） (2026-06-16T17:23:58Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models [75.85319609088354]
SAGE(Sentient Agent as a Judge)は、大規模言語モデルの評価フレームワークである。
SAGEは人間のような感情の変化や内的思考をシミュレートするSentient Agentをインスタンス化する。
SAGEは、真に共感的で社会的に適応的な言語エージェントへの進捗を追跡するための、原則付き、スケーラブルで解釈可能なツールを提供する。
論文 参考訳（メタデータ） (2025-05-01T19:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。