Guião de Avaliação da Qualidade de uma Prova Psicológica

(Adaptado de E.L. Thorndike, 1997, pp. 175-179)

(Adelinda Araújo Candeias (2001)

I. Informação geral para a identificação da prova psicológica

1. Qual é o nome da prova psicológica?
2. Quem são os autores da prova (pelo nome e pela posição/qualificação) no caso desta informação estar disponível?
3. Quem publicou a prova? E quando é que foi publicada?
4. Existe mais de que uma versão da prova? Se sim, quantas?
5. Qual é o preço da prova?
6. Quanto tempo leva a aplicação da prova?


II. Informação acerca da prova

1. Existe um manual da prova (ou outra fonte de informação, como um artigo) concebido para fornecer informação aos aplicadores acerca das suas possíveis dúvidas e à interpretação adequada dos resultados?
2. Há quanto tempo foi feita a última revisão da prova, no manual e nas normas? (Para a maioria dos testes comercializados é razoável esperar que tanto a prova como o manual, sejam revistos pelo menos cada 10 anos e que novas normas acompanhem essas revisões).


III. Apoios para a interpretação dos resultados da prova

1. O manual fornece informações claras sobre os objectivos e as aplicações para os quais a prova foi planeada?
2. O manual fornece informações claras sobre as qualificações necessárias para a aplicação da prova e as interpretações dos seus resultados de uma forma adequada?
3. A prova, o manual, as formas de registo e os materiais que as acompanham conduzem
os utilizadores a uma pronta e correcta interpretação dos resultados?
4. As informações do manual expressam as relações apresentadas em termos quantitativos, de modo a que quem lê possa dizer o grau de confiança dos resultados alcançados pelos sujeitos respondentes? (Por exemplo, é muito mais informativo dizer que a correlação com a variável x é de .55 do que dizer que a prova se correlaciona significativamente com a variável X).


IV. Validade

1. O manual apresenta os estudos de validade da prova para os diversos tipos de inferências para as quais a prova é recomendada?
2. O manual faz referência às correlações entre os itens e o resultado total na prova como prova de validade?
3. Se a prova está construída para representar uma amostra de um domínio de comportamentos específicos (por exemplo um teste de desempenho), será que o manual define claramente esse domínio e indica os procedimentos usados para a sua operacionalização?
4. Quando está envolvida a validade por referência a critérios, será que o manual descreve essas variáveis-critério de forma clara, comenta a sua adequação e indica quais os aspectos da performance nesses critérios que não estão adequadamente representados nas medida critério?
5. As amostras utilizadas para estimar a validade por referencia a critérios estão descritas de forma adequada? E são apropriadas para os objectivos da prova? Uma forma de simular uma validade aparente é usar amostras mais heterogéneas do que aquelas que são esperadas serem usadas normalmente. Será que estes truques são evitados?
6. As análises estatísticas da validade por referência a critérios são apresentadas de forma que quem lê pode ajuizar sobre o grau de confiança que se pode ter acerca das inferências sobre os indivíduos?
7. Se a prova está construída para medir um constructo teórico (por exemplo: temperamento ou atitude), os fundamentos das interpretações são apresentados de forma clara e diferenciada de outras formas de interpretação alternativas? Os resultados que sustentam essa interpretação estão adequadamente apresentados?
8. As potenciais ameaças à correcta utilização dos resultados da prova, tais como dificuldades de linguagem e dificuldades de aprendizagem, estão identificadas e os cuidados a ter nessas situações são referidos? O manual considera a possibilidade de interferências/efeitos no uso da prova?
Em suma: Em que medida a validade apresentada justifica o uso da prova, sugerido no manual, ou o uso que nós pretendemos fazer dos resultados da prova?


V. Fidelidade

1. O manual fornece dados adequados que permitam avaliar quando os resultados são de confiança para o uso recomendado?
2. As amostras em que os dados foram recolhidos estão suficientemente bem descritas de forma que quem use a prova possa avaliar quando os dados se aplicam à situação em apreço? Como acontece com a validade, também existe uma forma de simular a fidelidade, usando amostras mais heterogéneas do que aquelas que são usadas habitualmente, será que estes truques foram evitados?
3. A fidelidade dos dados é apresenta na versão estatística convencional para coeficientes de correlação produto-momento e erros-padrão da medida? Os erros-padrão da medida são apresentados para diferentes níveis de performance?
4. Se foi produzida mais do que uma forma da prova, os dados permitem estabelecer comparações entre as diversas formas?
5. Se a prova se propõem medir um traço homogéneas isso se reflecte-se na consistência interna (correlações inter-itens ou entre partes que constituem a prova) ?
6. O manual da prova fornece dados quanto à estabilidade da performance na prova ao longo do tempo?


VI. Aplicação e cotação da prova

1. As informações sobre a aplicação da prova são suficientemente claras e bem definidas de modo que quem vai aplicar a prova possa repetir (duplicar) as condições sobre as quais as normas foram estabelecidas e em que a fidelidade e a validade dos dados foram obtidas?
2. Se a prova é aplicada por computador ou disponibiliza uma aplicação assistida por computador, será que os programas disponíveis para trabalhar com esse equipamento estão disponíveis?
3. Se a prova pode ser cotado localmente, estarão os procedimentos para a cotação apresentados de forma clara e detalhada de modo a maximizar a eficiência da cotação e minimizar a probabilidade de ocorrência de erros na sua cotação?
4. Se a cotação da prova é para ser feita por quem publicou ou por um serviço comercial de cotação, será que o serviço de cotação da prova fornece a acumulação de resultados ao longo do tempo para ajudar a preparar normas locais e estudos de validade local?


VII. Tipos de escalas e normas

1. As escalas usadas para obter informação sobre a performance são claras e descritas cuidadosamente de maneira que quem interpreta a prova as compreenda e seja capaz de comunicar essa interpretação a um examinado?
2. Essas normas são apresentadas no manual de uma forma apropriada - normalmente em resultados padronizados ou em percentis, por grupo de referência apropriado?
3. As populações para as quais às normas se referem estão claramente definidas e descritas? Existirão populações com as quais se possam comparar apropriadamente os examinados?
4. Existindo mais do que uma versão da prova disponível, incluindo versões revistas serão, fornecidas tabelas que demonstrem cotações equivalentes relativas às diferentes versões?
5. O manual discute o possível valor das normas locais? O manual fornece ajuda para a preparação das normas locais?
6. Há um programa de computador disponível para ajudar na interpretação da prova e no relatório escrito? Se sim, o programa é interactivo; as interpretações e os relatórios por ele fornecidos (gerados) fazem sugestões acerca dos resultados da prova e possíveis conclusões definitivas?