論文の概要: When Do Agents Help? Embedding, LLM and Agentic Alignment of Classical Texts and Their Translations
- arxiv url: http://arxiv.org/abs/2609.33691v1
- Date: Sun, 27 Sep 2026 15:53:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:41:24.351514
- Title: When Do Agents Help? Embedding, LLM and Agentic Alignment of Classical Texts and Their Translations
- Title(参考訳): エージェントはいつ助けになるのか : 古典テキストの埋め込み, LLM, エージェントアライメントとその翻訳
- Abstract要約: この研究は、パリ語、サンスクリット語、ミシュナ語、ヘブライ語、チベット語で452のテキストの7つのシステムを比較した。
エージェントは452テキストすべてに対して構造的に有効な出力を生成し、437は直接呼び出しを行う。
盲目の3-LLMパネルは、ソースと人間の参照に対して全ての生成ミスマッチを評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical texts aligned with their translations support machine translation, retrieval and computational research, but evidence comparing alignment workflows is scattered. This study compares seven systems on 452 texts in Pali, Sanskrit, Mishnaic Hebrew and Tibetan, comprising 9,833 human-aligned units: four embedding pipelines, a direct LLM call, an autonomous agent, and the agent revised by an independent auditor. Generative workflows recover 93-94% of reference correspondences, against at most 77% for embeddings. A ceiling analysis shows that sentence boundaries make some references unrepresentable by the embedding pipelines. Reference recovery is similar across generative workflows: the agent's advantage is 0.5 percentage points (95% CI -0.02 to 1.17), and auditing adds no established benefit. Agents nevertheless produce structurally valid output for all 452 texts, against 437 for direct calls. A blinded three-LLM panel assesses every generative mismatch against the source and human reference. Most mismatches are labelled defensible editorial variation; consensus major-error labels cover only 0.06-0.14% of units. The panel labels significantly fewer residual defects for agents than direct calls (0.7% versus 1.4%), suggesting that reference recovery alone understates alignment quality. On ten long Pali discourses taken as published online, agents and audited agents raise recovery from the direct call's 71% to 84% and 92%. Identical reference-located chunks bring all three to 93%. Agents thus improve structural reliability and reduce judged defects on short passages, while their large recovery advantage on long documents disappears after chunking. In this setting, independent auditing offers little measurable additional benefit on prepared passages.
- Abstract(参考訳): 古典的なテキストは機械翻訳、検索、計算研究をサポートするが、アライメントワークフローを比較する証拠は散在している。
本研究は,パリ語,サンスクリット語,ミシュナ語,ヘブライ語,チベット語で,4つの埋め込みパイプライン,直接LPM呼び出し,自律エージェント,独立監査官によって改訂されたエージェントの計9,833件のテキストを,452件のシステムで比較した。
生成ワークフローは93-94%の参照対応を回復する。
天井解析により、文境界が埋め込みパイプラインによって表現不可能な参照を生じさせることが示されている。
エージェントの利点は0.5パーセント(95% CI -0.02 から 1.17 まで)であり、監査は確立された利益を与えない。
それでもエージェントは452テキストすべてに対して構造的に有効な出力を生成し、ダイレクトコールは437である。
盲目の3-LLMパネルは、ソースと人間の参照に対して全ての生成ミスマッチを評価する。
ほとんどのミスマッチは修正可能な編集のバリエーションとラベル付けされており、主要なエラーラベルは0.06-0.14%しかカバーしていない。
パネルは、直接呼び出しよりもエージェントの残留欠陥が著しく少なく(0.7%対1.4%)、参照リカバリだけでアライメントの品質が低下していることを示唆している。
オンラインで公表された10日間のパリの談話では、エージェントと監査されたエージェントが71%から84%、92%に回復した。
参照位置が特定されていないチャンクは、3つすべて93%になる。
これにより、エージェントは構造的信頼性を改善し、短い通路上の判断された欠陥を低減し、チャンク後の長いドキュメントに対する大きなリカバリの利点は消失する。
この設定では、独立した監査は準備済みのパスに対して、測定可能な追加の利益をほとんど提供しない。
関連論文リスト
- CITECHOICE: A Causal Audit of How Document Presentation Redistributes Citation Credit in Agentic Search [0.0]
CITECHOICEは、マルチターンエージェントサーチの因果監査である。
同一の既定事実に対して独立に認証されたサポートを持つ113の同呼文書ペアを選択する。
構造化レンダリングは、ソースの入力を明示的に増加させるのではなく、引用クレジットに集中する。
論文 参考訳(メタデータ) (2026-09-14T07:47:47Z) - Does Splitting a Triage Decision Across Agents Hide Bias or Help Catch It? A Multi-Agent Simulation Study of LLM-Based Resource Allocation Under Audit Capacity Constraints [0.0]
我々は、同じ決定がロール微分マルチエージェントパイプラインに分散されたとき、バイアスに何が起こるかを研究する。
2つの条件の間に偏りが生じる頻度について、測定可能な違いは見つからない。
バイアスが捕捉されるかどうかに監査能力が大きな、そして重大な影響を与えることが分かっています。
論文 参考訳(メタデータ) (2026-08-07T08:25:53Z) - Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations [0.0]
長いドキュメントに対する検索拡張生成は、テキストをチャンクし、チャンクを埋め、クエリの最も近い隣人にサーフェスする、という1つの設計によって支配されている。
我々は、財務報告、監査報告、規制リターンといった重要な文書のクラスにとって、この設計は構造的に不正確であると主張する。
本稿では,READ(Reliable Embedding-free Agentic Document-search)を提案する。
論文 参考訳(メタデータ) (2026-08-06T17:23:13Z) - Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation [0.0]
エージェントAI評価パイプラインは、デプロイメント決定、安全認定、規制コンプライアンス要求を正当化するベンチマークスコアを生成する。
正式なフレームワークはまだ、これらのパイプラインのステージにおける妥当性の低下を特徴付けていない。
本稿では,タスク生成,人間シミュレーションキャリブレーション,自動判定の3層合成妥当性モデルを提案する。
論文 参考訳(メタデータ) (2026-08-01T17:50:12Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳(メタデータ) (2026-07-27T16:05:23Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。
通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
論文 参考訳(メタデータ) (2026-04-27T16:23:09Z) - BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。
3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。
全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
論文 参考訳(メタデータ) (2026-04-03T16:30:58Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳(メタデータ) (2026-03-02T13:02:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。