LLM-Judge

from pydantic_ai import Agent
from pydantic_ai.models.google import GoogleModel
from pydantic_evals import Case, Dataset
from pydantic_evals.evaluators import IsInstance, LLMJudge
 
translator = Agent(
    GoogleModel('gemini-3-flash-preview'),
    instructions='与えられた英語を自然な日本語に訳してください。',
)
 
dataset = Dataset(
    cases=[
        Case(inputs='Hello, world!', expected_output='こんにちは、世界!'),
        Case(inputs='I appreciate your help.', expected_output='ご協力に感謝します。'),
        Case(inputs='See you tomorrow.', expected_output='また明日。'),
    ],
    evaluators=[
        IsInstance(type_name='str'),
        LLMJudge(
            rubric=(
                '出力は与えられた英語の自然な日本語訳になっているか。'
                '不自然な直訳や明らかな誤訳は減点。'
                '0.0 (誤訳) 〜 1.0 (完璧) で採点してください。'
            ),
            model='google-gla:gemini-3-flash-preview',
            include_input=True,
        ),
    ],
)
 
def task(inputs: str) -> str:
    return translator.run_sync(inputs).output
 
dataset.evaluate_sync(task).print(include_input=True, include_output=True)

from pydantic_evals import Case, Dataset
from pydantic_evals.evaluators import LLMJudge
 
dataset = Dataset(
    cases=[
        Case(
            inputs='Pydantic AI とは?',
            expected_output='型安全と DX に注力した Python のエージェントフレームワーク',
        ),
        Case(
            inputs='Logfire とは?',
            expected_output='OpenTelemetry 準拠の可観測性プラットフォーム',
        ),
    ],
    evaluators=[
        LLMJudge(
            rubric=(
                '出力が expected_output の主要な情報をほぼ含んでいれば 1.0。'
                '一部しか含まなければ 0.5。完全に違えば 0.0。'
            ),
            model='google-gla:gemini-3-flash-preview',
            include_input=True,
            include_expected_output=True,
        ),
    ],
)

from pydantic_evals import Dataset
from pydantic_evals.evaluators import LLMJudge
 
dataset = Dataset(
    cases=cases,  # 既存ケース
    evaluators=[
        LLMJudge(
            rubric='出力は質問に正しく答えているか。0.0 (誤答) 〜 1.0 (完全正答)。',
            model='google-gla:gemini-3-flash-preview',
            include_input=True,
        ),
        LLMJudge(
            rubric='出力は社内ヘルプデスクとして丁寧で礼儀正しい日本語か。0.0 〜 1.0。',
            model='google-gla:gemini-3-flash-preview',
        ),
    ],
)