論文の概要: Beyond Factual Accuracy: A Benchmark for Evaluating Perspective Alignment in LLMs

• arxiv url: http://arxiv.org/abs/2610.25087v1
• Date: Sun, 18 Oct 2026 07:49:41 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:19:44.387266
• Title: Beyond Factual Accuracy: A Benchmark for Evaluating Perspective Alignment in LLMs
• Title（参考訳）: LLMにおける視点アライメント評価のためのベンチマーク
• Abstract要約: 大規模言語モデルは、しばしば、ユーザ要求の視点を維持するのに失敗する事実的に正しい応答を生成する。 複数の有効な推論経路が共存するシナリオを構築することで、視点アライメントを定量化するベンチマークである PerspectiveBench を紹介する。 実験の結果、最先端のモデルはターゲットコンテンツを含むことができたが、要求されない視点を除外できなかったことが判明した。
• 参考スコア（独自算出の注目度）: 2.9943416699533247
• License:
• Abstract: Large Language Models often generate factually correct responses that fail to maintain user-requested perspectives, blending multiple perspectives and forcing users to filter through unwanted information---a perspective control failure that factual accuracy metrics cannot detect. We introduce PerspectiveBench, a benchmark quantifying perspective alignment by constructing scenarios where multiple valid reasoning paths coexist, and propose the Perspective Alignment Score (PAS) to measure adherence to specified perspectives. Experiments reveal that state-of-the-art models successfully include target content but fail to exclude non-requested perspectives. Providing documents through RAG improves factual grounding but does not resolve perspective drift, as models prioritize comprehensive coverage over strict user constraints. Code and data are available at https://github.com/sunghoon014/PerspectiveBench.
• Abstract（参考訳）: 大規模言語モデルは、しばしば、ユーザの要求する視点を維持し、複数の視点をブレンドし、ユーザが望ましくない情報をフィルタリングすることを強制する、現実的に正しい応答を生成する。 本稿では,複数の有効な推論経路が共存するシナリオを構築することで,視点アライメントを定量化するベンチマークであるspectiveBenchを紹介し,視点アライメントスコア(PAS)を提案する。 実験の結果、最先端のモデルはターゲットコンテンツを含むことができたが、要求されない視点を除外できなかったことが判明した。 RAGによるドキュメントの提供は、現実的な根拠を改善するが、モデルが厳格なユーザー制約よりも包括的なカバレッジを優先するため、視点のドリフトを解決しない。 コードとデータはhttps://github.com/sunghoon014/PerspectiveBench.comで公開されている。

関連論文リスト

• RepoProbe: Benchmarking Architecture-Aware Repository Comprehension with Checklists [12.810164698494281]
  RepoProbeは、リポジトリレベルのコード理解を評価するための新しいベンチマークである。 本稿では,回答をアトミックで検証可能な事実に分解するチェックリストベースの検証プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-08-05T12:49:36Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• Consistent Yet Wrong: Evidence Insensitivity in Spatial Vision-Language Models [29.66841995436342]
  現代の視覚言語モデル(VLM)は、計量距離クエリでは信頼できないままである。 我々は,Hypersim,ScanNet,KITTI360から構築したマルチビュー評価プロトコルであるtextbfViewDiagを紹介する。 安定な予測は、証拠に敏感な推論よりも先駆的な崩壊を反映している可能性が示唆された。
  論文  参考訳（メタデータ） (2026-06-01T18:06:08Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
  既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。 本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。 GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
  論文  参考訳（メタデータ） (2026-05-20T03:44:06Z)
• Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models [58.64449765678416]
  思考のランドスケープ(LoT)を導入し、任意の複数選択データセット上で特定の推論手法で推論軌跡を検査する。 LoTは、強いモデルと弱いモデル、正解と誤解、および異なる推論タスクを区別する。 トラジェクトリの正しさを評価する軽量検証器にLoTを適用することで、この利点を実証する。
  論文  参考訳（メタデータ） (2025-03-28T06:09:51Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
  既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。 そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。 また,水平深度と比表現に適した教師なし適応手法を提案する。 本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-12-26T12:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。