論文の概要: Bengali Hallucination Detection with Retrieval and Programs: A System Study
- arxiv url: http://arxiv.org/abs/2610.22892v1
- Date: Fri, 16 Oct 2026 03:46:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.758767
- Title: Bengali Hallucination Detection with Retrieval and Programs: A System Study
- Title（参考訳）: 検索とプログラムによるベンガル幻覚検出:システム研究
- Abstract要約: ベンガルの幻覚は、しばしば供給された参照パスなしで、事実的主張と誤った推論を区別しなければならない。
本稿では,応答条件付きクエリ書き換え,ハイブリッド検索,タスク固有言語モデル判定を組み合わせた推論のみのシステムを提案する。
我々は,バージョン固有のコード,保存された予測,実行トレース,Olikbochonチャレンジからのコーパスメタデータを用いて,システムの特徴付けを行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bengali hallucination detection must distinguish unsupported factual claims from incorrect reasoning, often without a supplied reference passage. We present and characterize an inference-only system that combines response-conditioned query rewriting, hybrid retrieval, and task-specific language-model judging. Six retrieval routes search question-answer and passage collections; a router directs each example to a 27B textual judge or a 14B agent that can compare retrieved answers, reason directly, or generate and execute Python. We characterize the system using version-specific code, saved predictions, execution traces, and corpus metadata from the Olikbochon challenge. Kaggle associates a displayed private macro-F1 of 0.956 with Version 2; its saved run processes 2,516 examples in 220.99 minutes on two T4 GPUs. Of 253 math-routed examples, 88 terminate through candidate matching, while execution traces expose 49 stderr-bearing run events across 35 examples. A later run changes six predictions despite identical core worker code. A bounded audit of 1,090 benchmark-related corpus records finds exact question or context overlap for 38 processed evaluation inputs, precluding an unqualified claim of corpus-independent generalization. The contribution is a concrete retrieval-and-computation judging architecture with an auditable operational characterization, not a controlled estimate of component gains. We distinguish the reported leaderboard result from independently recomputed diagnostics and identify the evidence needed for stronger effectiveness and reproducibility claims.
- Abstract（参考訳）: ベンガルの幻覚検出は、しばしば供給された参照パスなしで、事実的主張と誤った推論を区別しなければならない。
本稿では,応答条件付きクエリ書き換え,ハイブリッド検索,タスク固有言語モデル判定を組み合わせた推論のみのシステムを提案する。
ルータは、各例を27Bテキストの判断者または14Bエージェントに指示し、検索された回答を比較したり、直接推論したり、Pythonを生成したりすることができる。
我々は,バージョン固有のコード,保存された予測,実行トレース,Olikbochonチャレンジからのコーパスメタデータを用いて,システムの特徴付けを行う。
Kaggleは0.956のプライベートマクロF1をVersion 2に関連付け、保存された220.99分で2,516のサンプルを2つのT4 GPUで処理する。
253例のうち88例が候補マッチングで終了し、実行トレースが35例にわたる49のstderr-bearing実行イベントを公開している。
後の実行では、同じコアワーカーコードにもかかわらず、6つの予測が変更される。
1,090のベンチマーク関連コーパスレコードの有界監査では、38の処理された評価入力に対して正確な質問やコンテキストオーバーラップを見つけ、コーパス非依存的な一般化の無資格なクレームを除外する。
コントリビューションは、コンポーネントゲインの制御された推定ではなく、監査可能な操作特性を備えた具体的な検索・計算判定アーキテクチャである。
我々は、報告されたリーダーボードの結果を、独立に再計算された診断と区別し、より強力な有効性および再現性主張に必要な証拠を特定する。
関連論文リスト
- Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - Functionally Equivalent or Not? Graph-Grounded Differential Surrogate Execution for Code Equivalence [10.45005458481016]
FEAgentは、型付きプログラムグラフエビデンスと差分代理実行を組み合わせた選択等価評価エージェントである。
そのオラクルに対する不一致はすべて、直接実行によって判断され、ベンチマークラベルと単体テストのみのスコアで見逃された振る舞いの相違が明らかになる。
EquiBenchでは、1200個の評価済みペアのうち216個(18.0%)、SWE-bench Verifiedでは331個のテストパスエージェントパッチ(28.4%)が参照パッチから分岐している。
論文 参考訳（メタデータ） (2026-10-03T08:19:45Z) - Language-Conditioned Token and Reasoning Efficiency in Large Language Models: A Paired Cross-Lingual Study Protocol [4.805352087824778]
我々は、入力言語を分離し、可観測トレース言語を割り当て、回答実現のための先進的なペア研究を指定する。
このプロトコルは、可視的トレースを内部認識やオペレーティングシステム推定として扱うことなく、トークン化器の拡張、観測可能なトレースコスト、応答実現コストを分離する。
論文 参考訳（メタデータ） (2026-10-03T05:01:44Z) - Evidence First, Arithmetic Second: A System Report and Failure Analysis for DocSem [0.8594140167290097]
EVICALCはPDFを読み、パスを選択し、言語モデルに算術式を書き、その式をローカルコードで評価する。
公開検証の結果、92.17%の回答精度と1.00の証拠F1が得られた。
論文 参考訳（メタデータ） (2026-09-30T05:20:54Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - ExecRetrieval: Measuring the Functional-Correctness Gap in Code-Embedding Retrieval [0.0]
埋め込みベースのコード検索は、コードエージェントと検索拡張コード生成のコアコンポーネントである。
既存のベンチマークは、各クエリの標準実装の、実行検証された単一編集の亜種を配置しない。
ExecRetrievalは、それぞれ939のPythonタスクで、1つの実行検証された標準実装と最大4つの実行検証されたバグギーなインタプリタをペアリングします。
論文 参考訳（メタデータ） (2026-09-01T20:55:17Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - From Traceability to Justifiability: Accountability Structures in Agentic Software Engineering [0.0]
公開資料のみから、AIレコードがクレームを表現できるかどうか、宣言された場所を保持できるかどうかを測定する。
188個の二重グレード細胞で、デフォルトレコードが行動システムのコンテンツアイデンティティを出力するプラットフォームは見つからなかった。
計器は、パイプラインが発行した排気のみからの保証深度を計算し、宣言された深さと比較する。
論文 参考訳（メタデータ） (2026-08-21T16:45:00Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。