Reflexão

Foi-nos solicitado, no âmbito da cadeira de Modelos e Processos de Avaliação Psicológica, a avaliação da qualidade de uma prova psicológica. Para tal, recorremos ao “Guião de Avaliação da Qualidade de uma Prova Psicológica” (adaptado de E. L. Thorndike). Propusemo-nos, assim, a analisar a qualidade das duas seguintes provas: Teste de Assertividade de Graz (GAT) e Matrizes Progressivas Standard de Raven (SPM). Estas incluem-se no Sistema de Testes Informatizados de Viena, ambas aferidas à população portuguesa e podendo ser aplicadas a adultos.

A conclusão à qual chegámos é que os manuais das provas referidas, pelo menos aqueles a que tivemos acesso, possuem informação insuficiente no que concerne às provas propriamente ditas, pelo que ficamos sem saber se realmente são ou não dotadas de qualidade.

Relativamente às dificuldades sentidas com a realização deste trabalho, começamos por referir aquela que se prende com a interpretação do guião, motivada pelo facto de não estarmos familiarizadas com o tipo de linguagem utilizada. Foi particularmente complicado responder a algumas questões, nomeadamente aquelas que indagam acerca da adequabilidade de apresentação de certos dados. Por exemplo, relativamente à questão cinco do grupo IV (Validade) “As amostras utilizadas para estimar a validade por referência a critérios estão descritas de forma adequada? E são apropriadas para os objectivos da prova?”, não percebemos o que é que, neste contexto, se entende por “de forma adequada”e “apropriadas”, pois não tínhamos qualquer exemplo de comparação. Também o facto de nunca, em alguma disciplina, termos tido contacto com provas de avaliação psicológica, tornou este trabalho especialmente complexo, uma vez que não dominamos quaisquer técnicas de aplicação das mesmas e de interpretação de resultados, por exemplo.

Consideramos, pois, que não possuíamos os conhecimentos necessários para a elaboração deste trabalho, porque mesmo com tudo o que tínhamos de teoria custou-nos articular essa teoria com aquilo que era perguntado, pelo que foi muito difícil perceber o que deveríamos responder.

Teste de Assertividade de Graz (GAT)

I. Informação geral para a identificação da prova psicológica

1 – O nome da prova psicológica é Teste de Assertividade de Graz (GAT).

2 – O autor desta prova é Rudolf Skatsche.

3 – A prova foi publicada por Dr. Gernot Schuhfried Gesellschaft m.b.H.

4 – Não. Existe apenas uma versão da prova, a qual possui 99 itens.

5 – Apesar de ter sido consultado o site da editora, não foi possível encontrar tal informação.

6 – A aplicação da prova demora aproximadamente 15 minutos.


II. Informação acerca da prova

1 – Sim. O capítulo 5 do manual do GAT expõe a forma de aplicação do teste, enquanto o capítulo 6 oferece considerações acerca da interpretação dos resultados (pp.10,11).
Vale a pena referir que, uma vez que este teste é aplicado no âmbito do Sistema de Testes de Viena (e, portanto, através de um programa informatizado), as instruções não são fornecidas pelo operador de testes. Tal garante a objectividade do teste, bem como uma aplicação e avaliação bastante económicas (p.7).

2 – Não existe informação explícita quer quanto à última revisão da prova, quer quanto à última revisão do manual, apesar de depreendermos que terão tido lugar em Fevereiro de 2006. Relativamente às normas, existem dados relativos à população portuguesa através dos quais é possível deduzir que a última revisão das mesmas foi realizada em 2003, visto que, de acordo com o manual, foi levada a cabo neste ano a última recolha de dados (pp.1 e 8).


III. Apoios para a interpretação dos resultados da prova

1 – Sim. É-nos dado a saber que este teste foi originalmente concebido como instrumento de screening social e clínico para a identificação rápida de défices ao nível da autosegurança e competência social em adultos, e também no planeamento terapêutico. No entanto, veio a revelar-se ainda útil enquanto instrumento de pesquisa em diversas questões da psicologia diferencial da personalidade (p.5).

2 – O manual não oferece informações no que respeita às qualificações necessárias para a aplicação da prova e interpretação dos seus resultados. Contudo, tal talvez esteja relacionado com o facto de esta ser uma prova informatizada, pelo que não requer praticamente qualquer intervenção da parte do operador de testes.

3 – Sim, se tivermos em conta a simplicidade com que tal se realiza nesta prova, fruto do seu carácter informatizado.

4 – Não. As informações fornecidas pelo manual acerca desta questão não são apresentadas em termos quantitativos. Apenas é referido que existem correlações de diferente ordem entre a presente prova e outros inventários de personalidade, e que não se verifica qualquer correlação significativa entre a prova e a idade, sexo e quociente de inteligência (p.4).


IV. Validade

1 – Sim, apresenta estudos por inferências, que são: idade, sexo e quociente de inteligência.

2 – Sim, além de correlações com diversos inventários da personalidade, correlações com idade, sexo e quociente de inteligência. Dessa forma, registaram-se correlações negativas com as escalas de agressividade do FAF e correlações negativas bastante significativas com a "ansiedade" (avaliada com o STAI de Spielberger).
A idade, o sexo e o quociente de inteligência não se correlacionam de modo significativo com as escalas do GAT.

3 – Exacto, o manual define muito bem como devemos dominar e indica claramente como proceder na operação. Podemos ver esses procedimentos na página 10 ponto 5 na " Aplicação do Teste".

4 – O manual não fornece informações suficientes para a resposta desta questão.

5 – Sim. Elas são apropriadas para objectivos da prova, pois nos mostra do que se trata a prova (p.8).

6 – Elas são apresentadas de forma explícita e quem lê pode ajuizar sobre o grau de confiança, vemos isso no item da Fiabilidade (p.7).

7 – Os fundamentos ou seja os resultados da interpretação são apresentados de forma clara e diferenciada, sua simplicidade o diferencia. Eles estão adequadamente apresentados, uma vez quando lemos logo entendemos.

8 – Sim. Não se prever por exemplo, que indivíduos sem conhecimentos de informática sejam prejudicados.


V. Fidelidade

1 – No Teste de Assertividade de Graz, foram efectuadas algumas investigações com vista a confirmar a sua validade, nomeadamente dois estudos que permitiram confirmar a necessidade de factorização do teste, outros três estudos realizados entre “pacientes psiquiátricos” e “indivíduos normais”, dos quais se destacou o grupo de indivíduos “normais”. Foi ainda realizada uma comparação entre este tipo de teste e outros semelhantes, que confirmaram a necessidade de adicionar outros construtos no que respeita aos seus componentes factoriais.

2 – Nas escalas de Gat não se verifica correlação entre os itens: idade, sexo e quociente de inteligência. Em comparação com outros inventários de personalidade, evidenciaram-se correlações negativas. Foram ainda realizados testes com uma amostra diversificada e heterogénea com vista a comprovar a sua validade ao grupo a que se destina.

3 – Para comprovar a fiabilidade deste teste foram utilizadas as escalas do GAT, obtendo-se assim, coeficientes de consistência (Alfa de Cronbach) e coeficientes Split-half.

4 – Não foi apresentado outro formato da prova.

5 – Verifica-se ao nível dos cinco itens que constituem o teste, que cada um deles se correlacionam com características e comportamentos específicos a avaliar em cada um deles. No entanto, não se verifica a existência de correlação entre os cinco itens, sendo que o valor do teste resulta da soma dos valores obtidos em cada um.

6 – O manual da presente prova não refere qualquer dado quanto à estabilidade da performance ao longo do tempo.


VI. Aplicação e cotação da prova

1 – Não tivemos acesso à prova, a fim de verificar se as instruções eram suficientemente claras e explícitas, de forma que, quem for aplicar a prova possa repetir (duplicar) as condições sobre as quais as normas foram estabelecidas e em que a fidelidade e a validade dos dados foram obtidas. Podemos apenas referir, segundo o manual (p.10), que as instruções são apresentadas no próprio teste, sendo também explicado qual o objectivo do teste. Assim, o teste é efectuado da seguinte forma: cada um dos itens do GAT são apresentados, um a um, no ecrã; as afirmações devem ser respondidas com “concordo” ou “não concordo”.

2 – A prova é aplicada por computador, está, pois, inserida no programa informatizado “Sistema de Testes de Viena”.

3 e 4 – Visto esta ser uma prova informatizada, o registo dos dados, cotação dos mesmos e comparação com as normas são efectuados de forma automática e sem a intervenção do operador de testes (p.7).


VII. Tipos de escalas e normas

1 – O ponto “Quadro de referência teórico” refere que existem 5 escalas de análise factorial, indicando o que avaliam e de quantos itens são compostas. Não é indicada a forma como os resultados são comunicados ao examinado (p.3).

2 – O cálculo dos valores normalizados efectuou-se sob a forma de percentis para cada valor bruto. Para além das normas gerais existem normas por idade, por sexo e por nível de escolaridade (p.8).

3 – As populações estão claramente definidas e descritas. É seleccionada uma amostra representativa de sujeitos, que realizam o teste na versão papel-e-lápis para comparação com os desempenhos na versão informatizada (p.4).

4 – Existe apenas uma versão da prova (p.3).

5 – O manual não faz referência a normas locais.

6 – A aplicação e avaliação da prova são informatizadas (p.7).

Matrizes Progressivas - Standard de Raven (SPM)

I. Informação geral para a identificação da prova psicológica

1 – O nome da prova psicológica é Matrizes Progressivas Standard (SPM).

2 – O autor da prova é John C. Raven. Porém, os autores do manual são, além do autor da prova, J. H. Court e John Raven.

3 – A adaptação electrónica e tradução portuguesa foram realizadas em 1986 pela Harcourt Assessment, Inc., U.S.A.. A prova foi publicada em Portugal pela Infoteste D.L. em 1997 e em 1999.

4 – Sim. Existem cinco versões da prova:

o Versão S1 – versão standard, com 60 itens;

o Versão S4 – versão reduzida com 32 itens homogéneos;

o Versão S5 – semelhante à versão S4, embora com tempo limite de 15 minutos. Esta versão é usada especialmente para selecção de pessoal;

o Versão S6 – Versão reduzida para Psicologia do Tráfego;

o Versão S7 – Versão paralela à versão standard S1.
Importa referir que todas elas foram aferidas para a população portuguesa.

5 – O preço da prova ronda os 150 euros (195.00 USD).

6 – Dependendo da idade e da capacidade de desempenho do examinado, a duração do teste situa-se, geralmente, entre os 10 e os 30 minutos. No entanto, nas versões S1 e S7, poderá por vezes chegar os 60 minutos. De acordo com a experiência, devem-se acrescentar cerca de 5 minutos para a fase de instruções.


II. Informação acerca da prova

1 – Além do pequeno manual que acompanha o teste, existe um outro manual, “Manual do SPM” de J. C. Raven, J. Raven e J. H. Court (1999), onde podemos encontrar uma descrição detalhada do teste, informação acerca dos critérios de validade, apoio interpretativo, dados relativos às normas para a versão em papel-e-lápis, assim como uma lista completa das referências bibliográficas.

2 – A última revisão da prova foi feita em Janeiro de 2005.


III. Apoios para a interpretação dos resultados da prova

1 – O manual fornece informação acerca dos objectivos e aplicações da prova:
o Versões S1 e S7: Pacientes com disfunções orgânicas, pacientes psiquiátricos, operários, candidatos a emprego. No caso particular de Portugal, esta prova pode ser aplicada ao nível da Formação Profissional, Orientação Vocacional e Selecção;

o Versão S4: Candidatos a emprego, indivíduos à procura de emprego;

o Versões S5 e S6: Candidatos a emprego.

2 – O manual não fornece informações claras.

3 – O manual não fornece informação sobre o assunto.

4 – O manual não fornece informação sobre o assunto.


IV. Validade

1 – Sim. Uma vez que este teste avalia a inteligência geral, realizaram-se estudos de forma a averiguar as correlações do SPM com o rendimento escolar e com outros testes de inteligência e de desempenho (p.5).

2 – Não. O manual da prova não faz referência às correlações entre os itens e o resultado total na prova como prova de validade.

3 – Sim. O conceito de “inteligência geral” é definido como raciocínio dedutivo/lógico, o qual se traduz na capacidade de reconhecimento de um padrão (ordem) numa estrutura desordenada, constituindo-se mesmo como uma das principais componentes do Factor G, segundo Spearman (p.4). É, ainda, definido como “as capacidades fundamentais para os variados desempenhos do quotidiano” (p.5). Quanto aos procedimentos utilizados para a sua operacionalização não dispomos de informação a esse respeito.

4 – O manual da prova identifica as variáveis critério utilizadas (rendimento escolar; desempenhos em Matemática; outros testes de inteligência e de desempenho), mas não são explicitados os seus diferentes níveis.

5 – Não existe no manual qualquer referência às amostras utilizadas para estimar a validade por referência a critérios.

6 – São-nos apresentados os níveis de significância das correlações efectuadas entre os resultados obtidos na prova (preditores) e a realização dos sujeitos em critérios externos (variáveis critério), os quais se supõe estarem associados à dimensão psicológica que a prova avalia (inteligência geral). Assim, ficamos a saber que as correlações do SPM com o rendimento escolar atingem valores entre r=.26 e r=.82 e que as correlações com outros testes de inteligência e de desempenho se situam entre r=.54 e r=.86. O manual refere, ainda, que foram realizados estudos de análise factorial que apresentaram saturações elevadas no Factor G, não sendo raras saturações até .94 (p.8). No entanto, no que respeita àquelas que foram as correlações mais elevadas encontradas (desempenhos em Matemática, nas áreas técnica e científica) não dispomos de quaisquer valores.

7 – Não são concedidas informações acerca de possíveis interpretações.

8 – Sim. É tida em consideração, por exemplo, a possível falta de experiência em computador, o que é controlado pela fase de instruções, na qual o sujeito é ensinado a introduzir as respostas através de um “programa de treino” que lhe proporciona feedback relativamente ao seu desempenho, o que garante, assim, que o sujeito compreende a tarefa a realizar (pp.8,9). Encontram-se, também, disponíveis amostras de aferição normalizadas oriundas dos mais diversos meios sócio-culturais, pelo que é possível a selecção das normas que mais se adeqúem a um determinado examinado. Tal oferece uma melhor garantia no que respeita a potenciais ameaças relacionadas com dificuldades de linguagem ou de aprendizagem.

Em suma: Em que medida a validade apresentada justifica o uso da prova, sugerido neste manual, ou o uso que nós pretendemos fazer dos resultados da prova?
A validade apresentada justifica o uso da prova na medida em que existem correlações entre a prova e o rendimento escolar cujos valores atingem 0.82. Existem ainda correlações com outros testes de inteligência e desempenho cujos valores atingem 0.86 e uma análise factorial que apresenta saturações elevadas no Factor G com valores que chegam até 0.94 (p.8).


V. Fidelidade

1 – A validade dos resultados é controlada a partir da comparação dos valores brutos com os valores esperados para cada série. É analisado o padrão de respostas quanto a um eventual falseamento intencional dos resultados.

2 – Os dados de aferição da prova descrevem claramente as amostras e parecem apropriados para os seus objectivos.

3 – Os coeficientes de fidelidade do SPM são calculados através do método Split-half e teste-reteste, obtidos em populações de diferentes culturas e grupos etários. Os coeficientes de consistência interna foram determinados a partir do erro-padrão da medida.

4 – Existem várias versões, entre elas a versão convencional (S1), segundo Raven, com 60 itens; versão reduzida (S4) com 32 itens homogéneos, segundo Rasch; Versão S5, semelhante à versão S4, mas com tempo limite de 15 minutos; versão reduzida (S6) para a Psicologia do Tráfego (são apresentados os 47 itens mais simples) e, uma versão paralela à versão standard (S7), com 60 itens. Existem várias normas comparativas provenientes da versão papel-e-lápis e da versão informatizada para as versões S1 e S7.

5 – A prova apresenta inter-relações elevadas ao nível da matemática nas áreas técnica e cientifica e correlações igualmente elevadas com outros testes de inteligência e desempenho. Estas correlações sustentam que o SPM é uma forma de avaliar a inteligência geral com base no raciocínio dedutivo, demonstrando a consistência interna.

6 – Não existe no manual informação que nos ajude a perceber se é reaplicado o teste com vista à comparação de resultados.


VI. Aplicação e cotação da prova

1 – As explicações descritas no manual do respectivo teste são consideradas suficientes para a sua aplicação pelo avaliador. As instruções da aplicação do teste prevêem a prestação das informações fundamentais a prestar ao examinado, visando garantir a sua resolução adequada.
A prova estabelece normas comparativas entre as versões papel-e-lápis e informatizada, por idade, grupos sócio-profissionais e étnicos, adequados ao objectivo da avaliação.
É considerado o grau de consistência do desempenho do examinado, bem como dos resultados obtidos por comparação com os resultados esperados (normalizados) com vista a avaliar a sua fidelidade. É ainda avaliado um eventual falseamento intencional por parte do examinado, recorrendo a uma variável adicional. Fornece ainda indicações sobre os procedimentos a tomar perante resultados considerados como “não válidos” pelas razões acima mencionadas.
Informações detalhadas acerca dos critérios de validade encontram-se no Manual do SPM de J. C. Raven, J.Raven & J. H. Court (1999), assim como nos Suplementos de Pesquisa 3 e 4 (1990 e 1995).

2 – A prova prevê dois tipos de aplicação: papel-e-lápis e por sistema informático. A mesma garante que se encontram disponíveis os equipamentos necessários à sua aplicação informática e garante ainda a confiança nos resultados obtidos, na medida em a sua avaliação é objectiva e permitem um cálculo automático dos resultados.

3 – A cotação da prova é efectuada no local da prova e consideram-se fornecidas as informações necessárias aos procedimentos a considerar na sua cotação. Estes encontram-se descritos quer nas instruções da sua aplicação como no decorrer da sua aplicação, considerando alguns enviesamentos ou manipulações que possam ocorrer e sugerindo alternativas correctivas ou de considerações (notas adicionais).

4 – A cotação da prova permite fornecer uma análise dos resultados comparativos com outros estudos realizados, ao nível de diferentes grupos em diferentes países e em diferentes contextos de avaliação. Esta comparação apenas evidencia que as normas podem ser utilizadas tanto em testes de papel-e-lápis como em computador, na medida em que fornecem resultados senelhantes.


VII. Tipos de escalas e normas

1 – Qualquer técnico que tiver que interpretar a prova irá entender.

2 – Essas normas tornam-se apropriadas uma vez estando padronizadas ou em percentis.

3 – A população para as quais as normas se referem são crianças, adolescentes e adultos, elas estão claramente definidas e descritas. A população existente para efectuar comparações será através de teste de outros sujeitos.

4 – O manual não dispõe de tabela, no entanto existe demonstrações das cotações equivalentes referentes as diferentes versões.

5 – Sim, existe informações quanto ao valor das normas.

6 – Existe um programa disponível no computador para ajudar na interpretação da prova e no relatório escrito. No manual não há informações suficiente para que possamos dizer se o programa é ou não interactivo; no entanto podemos ver as sugestões acerca dos resultados da prova e possíveis conclusões definitivas.

Ex: Versão S4, quando fala: "...pode-se partir do pressuposto de que os examinados possuem uma elevada motivação para os testes