Medir só o que se pode provar.

O princípio

Cada critério é uma pergunta de sim ou não, medida da mesma forma em todos os sites. Cada «não» traz a prova: um recorte da página, um excerto do código, os cabeçalhos do servidor ou a lista de pedidos de rede, sempre com data. Nada aqui é opinião: se não conseguimos provar, não conta.

A amostra

• Página inicial e quatro páginas do menu principal, cinco por câmara.
• O menu principal é o bloco de navegação fora do rodapé com mais ligações internas, excluindo navegações utilitárias (saltos, migalhas, redes sociais, idioma, painéis de acessibilidade).
• Entram primeiro os itens de topo, uma secção do menu de cada vez. Ficam de fora ficheiros, feeds, páginas de login, cookies, newsletter, pesquisa e mapa do site.
• Uma página que não abre com conteúdo sai da amostra e é substituída pela seguinte. Nunca conta como falha.
• Um critério falha quando falha em pelo menos uma página da amostra, e a ficha diz em qual.

A navegação é feita num Chrome actual, com janela real, numa sessão limpa e sem cliques. No máximo quatro câmaras em paralelo, cada uma num servidor diferente, com pausas de dois a quatro segundos entre páginas.

Os 21 critérios

Contraste: porque o código não chega

Os estilos dizem que cor tem cada caixa, não o que fica pintado no ecrã. Um fundo desenhado por uma imagem ou por uma camada por cima engana qualquer leitura feita só no código. Por isso um contraste só conta quando a captura do elemento confirma três coisas: a cor de fundo calculada é a que domina o recorte, a cor do texto está lá, e nenhum pixel chega ao contraste exigido. Se alguma falha, o caso é descartado a favor da câmara. O recorte fica publicado na ficha.

Texto escondido para leitores de ecrã, texto em menus fechados, texto sobre fotografias ou gradientes e o aviso de browser desactualizado nunca contam.

Consentimento

Tudo é medido nos primeiros segundos de uma visita nova, sem cookies anteriores e sem nenhum clique. O que acontece nesse intervalo acontece antes de qualquer consentimento.

Envio de medição. Conta apenas quando o browser envia dados de medição ou eventos a um serviço de analítica, publicidade ou rede social. Carregar o script (por exemplo o Google Tag Manager) sem enviar medição fica registado na ficha, mas não conta. Os endereços de recolha usados são estes:

Recusar. O aviso de cookies passa quando tem um botão de recusa no primeiro nível. Avisos do tipo «ao continuar a navegar aceita» falham. Sem aviso e sem rastreio, o critério não se aplica.

Segurança sem intrusão

Só se leem páginas públicas e os cabeçalhos que o servidor envia a qualquer visitante. Não há varrimento de portas, tentativas de login nem pedidos a áreas administrativas. O único pedido fora da navegação normal é o ficheiro público readme.html, e só em sites WordPress. A versão das bibliotecas lê-se no próprio browser, não no nome do ficheiro. Estas são as versões consideradas vulneráveis:

Uma versão vulnerável carregada é um facto verificável; a exploração depende do uso, que não se mede de fora. Publica-se como «biblioteca com vulnerabilidade conhecida», nunca como «site vulnerável». Nas versões expostas contam também as de plugins no meta generator.

Não medível não é falha

Se a página inicial não abre para nós (firewall, desafio anti-robô, tempo esgotado, página de erro), a câmara fica «não medível», é publicada como tal e sai do ranking. A medição repete-se em momentos diferentes. Nesta edição as 308 câmaras foram medidas, duas delas de forma diferente, explicada a seguir.

O site de Abrantes é uma aplicação que desenha a página como uma imagem, em vez de a escrever em texto que o browser lê. A protecção de dados e a segurança medem-se como nos outros sites, porque dependem do que o browser envia e recebe. Na acessibilidade, activámos o modo que a aplicação oferece aos leitores de ecrã (um botão escondido, «Enable accessibility», a que se chega com a tecla Tab) e medimos nele as imagens e os campos; a língua e o zoom leem-se no código da página. O contraste fica «não medível», porque o texto desenhado não tem cores definidas no código para confirmar no ecrã. A amostra são a página inicial e as quatro primeiras secções do menu da aplicação, cada uma com endereço próprio.

O site de Oeiras está protegido por uma verificação anti-robô. Foi medido numa janela real de Chrome, depois de uma pessoa passar essa verificação. Antes da medição apagaram-se todos os cookies, excepto os da própria verificação, para a visita começar tão limpa como nas outras câmaras. A ficha de Oeiras di-lo.

Dentro de uma câmara medida, um critério que não se consegue decidir também fica «não medível» e sai da conta da frente.

Pontuação

Em cada frente, a pontuação é a percentagem de critérios cumpridos entre os medidos. A global é a média simples das três frentes. Os pesos são iguais de propósito entre as três frentes: qualquer outra ponderação seria uma opinião nossa. O Selo de Usabilidade e Acessibilidade aparece como informação e não entra na conta.

O peso de cada critério. Como cada frente vale um terço da global e as frentes têm números diferentes de critérios, um critério não pesa o mesmo em todas. Com todos os critérios medidos, cada um vale na global:

Um critério «não medível» ou «não se aplica» sai da conta da sua frente, e os restantes dessa frente passam a valer mais. Uma câmara só tem pontuação global se as três frentes tiverem pelo menos um critério medido.

Arredondamentos. A pontuação de cada frente arredonda-se a uma casa decimal. A global é a média das três frentes já arredondadas, arredondada também a uma casa decimal. As médias nacionais e por distrito são a média simples das câmaras medidas, a uma casa decimal. No ranking, pontuações iguais partilham a posição.

Limites, ditos em voz alta

• É uma amostra de cinco páginas. Um «cumpre» quer dizer que não encontrámos falhas na amostra, não que o site cumpre a WCAG. O que a WCAG pede está no nosso guia das WCAG, e a avaliação oficial do Estado, com dezenas de milhares de páginas municipais, está no estudo da acessibilidade nos municípios.
• Os critérios foram escolhidos por serem inequívocos, não por serem os mais importantes. Teclado, legendas e documentos PDF ficam de fora.
• O contraste é conservador. O número real de falhas é quase sempre maior.
• A Declaração procura-se nas ligações da página inicial e um nível abaixo; para os casos sem ligação, também nos endereços habituais, no mapa do site e nas outras páginas da amostra. O conteúdo de uma Declaração em PDF não é lido. Não a encontrar não quer dizer que não exista.
• No RGPD mede-se o que acontece sem clicar. Não testamos se o «recusar» funciona depois de clicado, nem o conteúdo da política de privacidade.
• Uma medição é uma fotografia datada. A data de cada ficha é a que vale.