AgentGradeRubricas portáteis para qualidade de agentes — offline e online.
Junte-se aos construtores que usam AgentGrade. Gratuito para testar — sem cartão necessário.
Sem cartão de crédito · Cancele quando quiser
Principais conclusões
- Rubricas que viajam por meio de harnesses de avaliação.
- Pacotes offline vs clareza de monitoramento online.
- Honestidade: suporte à decisão de avaliação — não é uma garantia de que os agentes nunca falhem.
Leis complexas. Packs de política simples.
Temas de apoio à decisão — não uma certificação, selo CMP ou parecer jurídico.
AgentGrade — definição
AgentGrade is an evaluation harness for AI agents that scores trajectories against task rubrics, safety checks, and regression sets, so teams can gate releases on measured quality instead of vibes.
O que isto NÃO é
- Não é um laboratório de benchmark, um ranking de modelos nem um certificado de aprovação.
- Não garante que os scores coincidam com todo harness nem que uma nota alta signifique pronto para produção.
- Não é um motor de políticas, uma suíte de pentest nem um certificado de conformidade.
Controlador / Operador — Quando traces mencionam dados pessoais, trate os scores como apoio à decisão e siga seu próprio processo de privacidade.
Controle as alterações. Rubricas quebram.
Novas regras, novo risco
Cada atualização regulatória pode deixar ferramentas do agent, classes de dados e caminhos de escalonamento fora de sincronia.
Docs vs runtime
Quando o PDF vive separado do runtime do agent, pontos cegos aparecem em produção.
Reescritas manuais
Editar checklists à mão para cada domínio drena em silêncio o tempo de engenharia e conformidade.
Problemas após o ship
Lacunas costumam surgir só após uma auditoria, incidente ou questionário de cliente.
Descreva. Grade. Aja.
Notas de suporte à decisão — não um certificado de aprovação.
Checagens de política
Regras condição + ação que um runtime de agent pode avaliar.
Checklist de conformidade
Deveres legíveis para que donos vejam lacunas antes do go-live.
Mapeamento do AI Act da UE
Ponteiros temáticos para obrigações de alto risco — não certificação de conformidade.
Regras exportáveis
Saída estruturada que você pode ligar a guardrails ou middleware.
Tudo o que você precisa para uma primeira avaliação
Construído para equipes que enviam agentes que precisam de revisões de rubricas.
Score de qualidade
Regras condição + ação que um runtime de agent pode avaliar.
Checagem de fidelidade
Deveres legíveis para que donos vejam lacunas antes do go-live.
Taxa de sucesso da tarefa
Ponteiros temáticos para obrigações de alto risco — não certificação de conformidade.
Rubrica exportável
Saída estruturada que você pode ligar a guardrails ou middleware.
AgentGrade — Como funciona
Colar
Cole o texto da política e escolha o domínio.
Codificar
Gere verificações chamáveis por AgentGrade e uma lista de erros de validação.
Implementar
Conecte regras ao tempo de execução do agenteval; mantenha humanos para exceções.
Descreva. Grade. Aja.
Notas de suporte à decisão — não um certificado de aprovação.
Novas regras, novo risco
Cada atualização regulatória pode deixar ferramentas do agent, classes de dados e caminhos de escalonamento fora de sincronia.
Checagens de política — Regras condição + ação que um runtime de agent pode avaliar.
Experimente nesta página
or generate below.
Histórico salvo
Ainda sem depoimentos — por design
Não publicamos números de clientes nem citações inventadas. Execute a ferramenta e leia uma avaliação real — essa é a nossa prova.
Pontue traces em três eixos
Qualidade, fidelidade e sucesso da tarefa — experimente uma demo rotulada sem plano pago.
Taxas de aprovação que você pode comparar
Cada execução devolve um scorecard, um id de run e a versão do ruleset para os releases continuarem comparáveis.
Limites honestos de eval
Grátis 3/dia · 15/mês; Pro 40/dia · 300/mês. Sem tetos ocultos. O modo demo é rotulado. Não é um certificado de aprovação.
Limites honestos
AgentGrade cria uma nota. Sem certificação, agentes nunca falham.
Planos simples que escalam
Todos os planos pagos incluem
- Studio de política para regras
- Exportação da checklist de conformidade
- Scorecards de trace (qualidade, fidelidade, sucesso da tarefa)
- Suporte por e-mail em planos pagos — sem add-ons ocultos para o uso central do studio
- Execuções diárias de IA limitadas (3/dia · 15/mês)
- Demo do Studio (sem taxa extra de LLM)
- IA incluída: 40 execuções/dia · 300/mês (uso justo)
- Sem assinatura separada do ChatGPT
- Suporte prioritário · 2 meses grátis no anual
- Assentos de equipe · Acesso à API (roadmap)
- BYOK opcional (sua chave OpenAI)
Feature comparison
What each plan includes — quotas reflect the enforced fair-use limits.
| Dimensão | Free | Pro | Enterprise |
|---|---|---|---|
| Uso | |||
| Execuções de AI | 3/day · 15/mo | 40/day · 300/mo | 200/day · 3,000/mo |
| Exportação de relatório | Com marca d'água | Exportação sem marca d'água | Exportação sem marca d'água |
| Registro de auditoria | Não incluso | ✓ Incluso | ✓ Incluso |
| Produto | |||
| Quality score | ✓ Incluso | ✓ Incluso | ✓ Incluso |
| Faithfulness check | ✓ Incluso | ✓ Incluso | ✓ Incluso |
| Task-success rate | ✓ Incluso | ✓ Incluso | ✓ Incluso |
| Regression-aware flag | ✓ Incluso | ✓ Incluso | ✓ Incluso |
| BYOK (sua chave LLM) | Não incluso | Não incluso | ✓ |
| SSO | Não incluso | Não incluso | Roadmap |
| Suporte e conformidade | |||
| Suporte | Comunidade | Prioridade | SLA personalizado |
Já pagou? Desbloqueie o Pro com sua licença
Licenses are issued manually after your payment is confirmed: we generate one per paid order and send it to the purchase email, typically within a few hours. Enter it below to activate Pro on this device — no account needed. Nothing yet? Write to lixingliangsy@163.com and reference your order email.
Suas perguntas, respondidas
O que a pontuação do AgentGrade mede?
O agente é executado contra rubricas portáteis — lentes offline e online. O suporte de decisão classifica, não é uma certificação que os agentes nunca falhem.
Isto é aconselhamento jurídico ou uma certificação?
Não. As saídas são notas de apoio à decisão. Peça revisão de quem lidera a eval antes de fazer gate de um release. Não certificamos que agentes nunca falham.
Posso cancelar a qualquer momento?
Sim. Planos self-serve cancelam quando quiser; o acesso continua até o fim do período.
Preciso de cartão de crédito para começar?
Não. Comece com cadastro por e-mail ou modo Demo no studio e faça upgrade quando estiver pronto.
Preciso da minha própria assinatura ChatGPT / OpenAI?
Não para Free/Pro. As execuções de IA estão incluídas no plano (fair use) via nossa chave de plataforma. Enterprise pode opcionalmente trazer a própria chave OpenAI (BYOK) — configure em /settings (a chave permanece só no servidor).
O que é Fair Use / e se eu atingir o limite de IA?
O grátis é 3 execuções/dia e 15/mês. O Pro é 40/dia e 300/mês. No limite de uso justo, o Studio devolve um resultado demo rotulado até o reset diário ou mensal — ou use BYOK Enterprise para mais volume.
O checkout é seguro?
Os pagamentos são processados pela Waffo Pancake (merchant of record).
O que acontece depois que eu pago?
Você recebe confirmação de acesso; o fulfillment é rastreado via webhook + logs de pedido.
Respostas rápidas
- Score de qualidade
- Checagem de fidelidade
- Taxa de sucesso da tarefa
- Rubrica de eval exportável
- O preço começa em $0 (Grátis).
Mais perguntas
Quais são as entradas?
Descrição do agente mais notas de execução/avaliação de amostra.
Certificação?
Não. Graus de suporte à decisão — não um certificado de aprovação.
Offline ou online?
Pacotes offline estressam cenários; online observa deriva ao vivo.
Demonstração vs ao vivo?
Demonstração é rotulada; narrativa ao vivo precisa de uma chave de IA configurada.
Para quem é?
Equipes que enviam agentes que precisam de revisões baseadas em rubricas.
Fontes primárias?
Notas de prática de avaliação de agente — estrutura de suporte à decisão.
Como se compara
| Dimensão | Manual | AgentGrade |
|---|---|---|
| Rubrica | Checagens ad hoc por feeling | Scores repetíveis de qualidade e fidelidade |
| Consistência | Varia conforme o revisor | O mesmo pacote de eval em cada execução |
| Saída | Opiniões no Slack | Scorecard exportável |
| Melhor para | Suíte completa de benchmark offline | Triagem de primeira passagem da qualidade do agente |
Quando não usar: Não trate o AgentGrade como certificado de SLA de produção — é apoio à decisão de avaliação.
- Rubricas de eval que viajam — Scores que você pode reutilizar entre prompts.
- Lançamento da onda 1 — AgentGrade no cluster de ops de agentes.
- Eval offline vs monitoramento online — Quando pacotes e traces ao vivo respondem a perguntas diferentes.
As pessoas também buscam
Clique em uma aba para expandi‑la; clique novamente para ocultá‑la. Todo o conteúdo permanece na página para os mecanismos de busca.
Comece de forma mais inteligente hoje
Junte-se a builders que usam o AgentGrade. Grátis para testar — sem cartão.
Confiável · Cancele quando quiser