論文の概要: GT-FENG: General Theory of Factual Evaluation and Normative Grounding in Language Models *Author(s)
- arxiv url: http://arxiv.org/abs/2611.18279v1
- Date: Fri, 13 Nov 2026 15:11:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:29:57.592201
- Title: GT-FENG: General Theory of Factual Evaluation and Normative Grounding in Language Models *Author(s)
- Title(参考訳): GT-FENG:言語モデルにおける実測的評価と規範的グラウンドリングの一般理論*Author(s)
- Abstract要約: GT-FENGは、文脈的/時間的正当性とルールに基づく法、ポリシー、その他のルールが支配する領域間のエラー属性を統一するフレームワークである。
適用可能なルールに対して回答をチェックし、誤った回答と一致する文書化されたルールを特定します。
オープンソースPythonパッケージgtfengとしてGT-FENGをリリースしています。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Whether a language model's answer is correct often depends on context: the same value can be right under one jurisdiction, date, or legal definition and wrong under another. We introduce GT-FENG (General Theory of Factual Evaluation and Normative Grounding), the first general framework to unify contextual/temporal correctness and rule-based error attribution across law, policy, and other rule-governed domains. GT-FENG checks answers against the applicable rules and identifies documented rules that match incorrect answers. It shows that when multiple rules give the same value, the answer alone cannot tell which rule the model used. In Medicaid income-limit answers from two models, documenting the asked state's own records reduces the number of wrong answers that match only other states' values by 68-78%, and more than half of stable wrong answers then match two or more documented sources. GT-FENG provides a foundation for evaluating language models in rule-governed domains and for future benchmarks and evaluation toolkits. We release GT-FENG as an open-source Python package, gtfeng.
- Abstract(参考訳): 言語モデルの答えが正しいかどうかはしばしば文脈によって異なり、同じ値が1つの管轄区域、日付、法的定義の下で正しい場合があり、別の管轄区域では間違っている場合もあります。
本稿では,GT-FENG (General Theory of Factual Evaluation and Normative Grounding)を紹介する。
GT-FENGは、適用可能なルールに対して回答をチェックし、誤った回答と一致する文書化されたルールを特定します。
複数のルールが同じ値を与える場合、どのルールが使われているかは答えだけでは判断できない。
メディケイドの所得制限による2つのモデルからの回答では、質問された州の記録を文書化すると、他の州の値と一致する間違った回答の数が68-78%減少し、安定した答えの半数以上が2つ以上の資料と一致している。
GT-FENGはルール管理されたドメインにおける言語モデルの評価と将来のベンチマークと評価ツールキットのための基盤を提供する。
オープンソースPythonパッケージgtfengとしてGT-FENGをリリースしています。
関連論文リスト
- Don't Pick a Winner: Knowledge Conflicts Need a Prior, Not a Rule [3.308743964406687]
検索強化された言語モデルは、検索されたコンテキストとその知識の2つのソースから回答する。
既存のメソッドは、設計時に固定されたルールとの相違を解決します – コンテキストに従ったり、モデルの動きの程度に比例してそれを増幅したり、モデルのメモリを信頼したりします。
これらの主張をGRACE上で検証する。これは、固定された質問の知識グラフコンテキストに介入するベンチマークで、モデルが知っていること、コンテキストが何を言っているか、真実が何であるかを別々に測定する。
論文 参考訳(メタデータ) (2026-10-26T19:03:29Z) - Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
私たちはJevとContractNLIの9つの言語モデルを比較します。
制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。
Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
論文 参考訳(メタデータ) (2026-09-23T10:53:01Z) - RuleWeaver: Benchmarking Rule-Centered Scenario Reasoning for Large Language Models [39.01774351778858]
本稿ではルール中心のシナリオ推論を評価するためのベンチマーク構築フレームワークであるルールウィーバーを紹介する。
現在のモデルは依然として複雑なルール中心のシナリオ推論に苦戦しており、最高の性能のモデルでさえ、最大ルーリックスコアの50%程度しか達成できていない。
論文 参考訳(メタデータ) (2026-08-27T09:05:11Z) - Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳(メタデータ) (2026-05-28T10:38:38Z) - Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models [56.355176278601476]
大規模言語モデルは、孤立した事実だけでなく、記号表現、自然言語の説明、具体例の推論をサポートするルールも格納する。
ほとんどのモデル編集手法は、対象の編集が局所的な介入によって達成できると仮定して、事実レベルの知識のために構築されている。
ルールレベルの知識編集の機械論的研究を通じて,この問題を考察する。
論文 参考訳(メタデータ) (2026-04-09T14:22:19Z) - Rule2Text: A Framework for Generating and Evaluating Natural Language Explanations of Knowledge Graph Rules [0.998900149624725]
Rule2Textは、大規模言語モデルを利用して、マイニングされた論理ルールの自然言語説明を生成するフレームワークである。
その結果,細調整後の説明品質が著しく向上し,特にドメイン固有のデータセットが向上した。
論文 参考訳(メタデータ) (2025-08-14T16:41:47Z) - Learning Rules from KGs Guided by Language Models [48.858741745144044]
ルール学習手法は、潜在的に欠落する事実を予測するために適用することができる。
規則のランク付けは、高度に不完全あるいは偏りのあるKGよりも特に難しい。
近年のLanguage Models (LM) の台頭により、いくつかの研究が、LMがKG補完の代替手段として利用できると主張している。
論文 参考訳(メタデータ) (2024-09-12T09:27:36Z) - Language Generation with Strictly Proper Scoring Rules [70.340673452404]
本稿では,非局所的なスコアリングルールを用いた言語モデリングが可能な,スコアリングルールを言語生成に適用するための戦略を提案する。
対数スコアの代替として、ブライアスコアと球面スコアの2つの古典的厳密なスコアルールを用いて言語生成モデルを訓練する。
論文 参考訳(メタデータ) (2024-05-29T09:09:00Z) - Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。
Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文 参考訳(メタデータ) (2023-12-16T19:12:45Z) - Towards Learning Instantiated Logical Rules from Knowledge Graphs [20.251630903853016]
本稿では,知識グラフから一階述語論理規則を抽出するために最適化された確率論的学習ルールGPFLを提案する。
GPFLは、抽出された経路を非循環的な抽象規則であるテンプレートに一般化する新しい2段階ルール生成機構を利用する。
オーバーフィッティングルールの存在、予測性能への影響、およびオーバーフィッティングルールをフィルタリングする単純なバリデーション手法の有効性を明らかにする。
論文 参考訳(メタデータ) (2020-03-13T00:32:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。