Compartilho esse post publicado no blog Educação Próxima que fala sobre uma discussão que começou na Rede Brasil e-Learning e acabou tomando outros espaços. Contribua você também, deixe seus comentários ou entre na maior comunidade brasileira sobre e-learning e acrescente suas ideias nessa e em várias outras discussões que há por lá.

[por Régis Tractenberg]

Faz poucos dias respondi a uma mensagem do Carlos Rodrigues na comunidade Rede Brasil e-learning. O título aberto pelo Carlos foi: “Não compre gato por lebre … Certificação é coisa séria!” Vale a pena conferir o debate na íntegra que teve também a contribuição de Paolla Luciana Zecchinelli.

Dentre os pontos levantados tivemos:

- Podem empresas e professores independentes emitir certificados para cursos livres?

- Esses certificados tem algum valor legal?

- Quando a empresa ou professor é associado(a) à ABED (selo que vem sendo amplamente adquirido por aqueles que oferecem cursos online) isso confere alguma garantia de qualidade aos cursos e algum reconhecimento adicional aos certificados emitidos por essas instituições e professores?

- É legal que certas  ´instituições´ afirmem que seus cursos (livres) sejam reconhecidos por secretarias estaduais de educação?

A seguir minhas respostas:

—–

Olá Carlos,

Agradeço por você estar levantando essa discussão. Como lhe disse, também vejo ´instituições´ que afirmam serem seus cursos (cursos livres na verdade) reconhecidos por secretarias estaduais de educação (mas possuem apenas simples registros dos cursos junto a sec. municipais), registro esse feito em nome de instituições terceiras como você bem colocou.

Esse debate é um passo inicial para se esclarecer as coisas perante o público.

Sobre certificados…

Quando iniciei meus cursos online consultei mais de um advogado para perguntar se poderíamos emitir certificados.

Ocorre que qualquer indivíduo ou instituição pode certificar (dar como certo), atestar ou declarar por escrito o que quiser e ser considerado responsável pelo que escreveu.

Um professor, mesmo independente, pode certificar não só a participação de um estudante em seus cursos, como também seu nível de aproveitamento e suas competências. Tal documento tem valor legal.

Se terá reconhecimento, essa é uma outra questão que depende da reputação junto à sociedade e ao mercado por parte do indivíduo ou instituição que declara / certifica.

Não é ilegal portanto emitir certificados. Ilegal é fazer propaganda enganosa, mentindo sobre o reconhecimento dos mesmos junto ao MEC ou secretarias de educação, que não tem como atribuição conferir reconhecimento a cursos livres.

Sobre o uso do logo da ABED…

Trata-se de propaganda enganosa se a instituição e seus professores não participam dos eventos acadêmicos e não contribuem com estudos na área. Afirmar-se como membro de uma associação científica significa isso, e não dar a entender que essa atesta a qualidade de suas práticas.

A ABED, deveria ser mais criteriosa na concessão do uso de sua logo. Não deveria aceitar que fosse usada por instituições que afirmam terem cursos reconhecidos por órgãos oficiais, quando não o são.

Em tempos de crise, é preciso provar cada vez mais o valor dos investimentos em T&D

Ao passo que os investimentos em T&D (Treinamento e Desenvolvimento) ficam cada vez mais escassos, as cúpulas executivas cobram cada vez mais o retorno sobre o investimento (ROI) das ações de treinamento. Dessa forma, Arif Ahmed, argumenta que métodos tradicionais para mensurar o aprendizado podem estar ultrapassados. Veja abaixo como Ahmed recomenda avaliar o aprendizado online.

Muitas organizações continuam a mensurar o aprendizado através de estatísticas como o número de cursos completados ou mesmo o número de competências essenciais já preenchidas através de treinamentos –  e em alguns casos esses dados são cruzados com planos de desenvolvimento individuais. O maior desafio para a maioria das empresas é ‘alinhar os objetivos pessoais com os organizacionais”. Olhar para méticas básicas significa que ninguém está medindo o que realmente o aprendizado está impactando na empresa. Além disso, à medida que o treinamento percorre toda a organização é importante saber como gerenciar dados, muitas vezes, em bases diferentes e desconexos.

Com a incerteza econômica, que vem causando o enxugamento dos orçamentos mundo afora, a busca pela eficiência nos investimentos em T&D será um imperativo. Assim, Ahmed acredita que é possível evoluir no que diz respeito aos atuais processos de mensuração, simplesmente pela inclusão de algumas “métricas de valor” como:

Lendo o blog Ideários, da Karla Lopez, vi um post bem interessante a respeito da sua participação na maior conferência mundial de treinamento, a ASTD International Conference, onde compartilho o post a respeito de uma palestra do famoso Donald Kirkpatrick, que desenvolveu o método dos 4 níveis de avaliação de um treinamento, sobre o qual já discorri aqui, aqui, aqui.

Como dito várias vezes, acredito veemente que um bom projeto de e-learning, alinhado ao negócio da empresa e, que, portanto, traga resultados, deve ter uma política de avaliação bem definida e sólida.

É por esse motivo, principalmente, que reforço com este post as idéias de Kirkpatrick.

Donald Kirkpatrick, da Universidade de Wisconsin, já é velho conhecido de quem trabalha com Treinamento e Desenvolvimento. Em 1959, ele lançou uma série de artigos no US Training and Development Journal que consolidou o Modelo Kirkpatrick de Avaliação de Treinamento. O modelo é baseado em 4 níveis de avaliação:

• Avaliação de reação: mede a satisfação do consumidor e como os participantes reagem.
• Avaliação de aprendizagem: levanta o quanto os participantes podem mudar de atitude, ampliar seus conhecimentos e/ou habilidades.
• Avaliação comportamental: identifica o quanto os participantes mudaram seu comportamento em decorrência do que foi aprendido.
• Avaliação de resultados: mostrar os resultados finais do treinamento.

Na sessão, Don repassou os níveis de avaliação contidos em seu modelo, mas concentrou-se em mostrar casos de uso de cada uma delas e em dar dicas de como realizá-las de forma mais eficiente. Para Kirkpatrick, um programa eficaz de treinamento deve ser:

• Baseado em necessidades – Você precisa saber qual o problema deve ser resolvido para não perder o foco.
• Ter objetivos bem definidos – Quem não sabe onde quer chegar, não chega a lugar algum, certo?
• Acontecer no momento certo – Retirar alguém do trabalho em um momento inoportuno não vai permitir que ele aprenda e ainda vai aumentar os problemas já existentes.
• Ocorrer no local adequado – Ninguém questiona isso no treinamento presencial, mas no caso do treinamento on-line também não pode ser deixado de lado: equipamento adequado, banda adequada e, principalmente, cultura adequada – você não vai conseguir melhorar os resultados enquanto o momento do treinamento on-line não for respeitado, evitando interrupções.
• Atingir as pessoas certas – Muitas vezes preferimos pecar pelo excesso do que pela omissão, mas isso não diminui o tamanho do pecado. Um número pequeno de pessoas bem treinadas pode multiplicar o conhecimento atingindo todos os envolvidos que não puderam participar. Já em um grupo grande, o descontentamento gerado pelas pessoas que não vêem a importância prática do treinamento pode colocar todo o esforço para a transferência do conhecimento em risco.
• Conduzido por um líder eficaz – Não adianta ser apenas expert no assunto ou somente um instrutor talentoso. A eficácia depende das duas coisas.
• Utilizar técnicas eficazes – Os instrutores também precisam ser capacitados e reciclados.
• Alcançar seus objetivos – Afinal, treinamento é investimento.
• Satisfazer seus participantes – Os alunos são os seus clientes finais.
• Medir seus resultados – E enfim saber se todos os pontos acima foram alcançados, como, quando e onde melhorar.

O que avaliar?

Para Kirkpatrick, o maior motivo para o insucesso das avaliações é não saber para as respostas que elas devem buscar:

• O programa deve continuar?
• Como o programa pode ser melhorado?
• Como justificar a existência dos instrutores e outras estruturas?

O exercício é fazer o caminho contrário: o que eu desejo justificar >> quais dados justificam isso >> como conseguir esses dados.

Para avaliar reação

• Determine o que você deseja descobrir: Ponto de partida.
• Desenhe um formulário que quantifique as reações: Até 5 perguntas, que demore no máximo um minuto para ser respondido.
• Encoraje os comentários neste formulário: Somente as pessoas com avaliação acima e abaixo da média costumam fazer comentários, mas só essas respostas são capazes de dar uma boa idéia da direção a ser tomada.
• Se desejado, ao invés de medir a reação logo em seguida, deixe para mais tarde: O tempo diminui o impacto, mas também favorece a reflexão.
• Defina quais seriam os resultados aceitáveis: Sempre há o que melhorar, mas para priorizar os pontos mais latentes é preciso ter esse parâmetro bem definido.

Para avaliar conhecimento

• Avalie antes e depois do programa – Mais importante do que o índice de aprovação é medir o ganho de conhecimento proporcionado.
• Empregue avaliação do tipo “prova” para conhecimento e atitudes.
• Empregue avaliações práticas para habilidades.
• Avalie 100% das pessoas.

Para avaliar comportamento

• Avalie antes e depois, para ter as evidências de mudança.
• Dê tempo ao tempo – 3 a 6 meses após o término do programa.
• Avalie 100% das pessoas ou defina uma amostragem.
• Repita a avaliação periodicamente – mudança comportamental se dá ao longo do tempo.
• Considere custo versus benefícios da mudança de comportamento.

Avaliar comportamento não é simples. Como colocar esse tipo de avaliação em um formulário que forneça dados quantitativos e qualitativos? O primeiro passo é refletir sobre o que leva a uma mudança de comportamento, em quais desses pontos o treinamento pode influir e como.

Mudança de comportamento necessita:

1. Vontade de mudar.
2. Ter os conhecimentos e habilidades necessárias.
3. Clima favorável.
4. Suporte e incentivo.
5. Reconhecimento pela mudança.

Na última página dos handouts da sessão, tinha um exemplo de avaliação comportamental. No link adiante você encontra uma tradução livre feita pela Karla Lopez que você pode baixar aqui.

Para avaliar resultados

• Avalie antes e depois – Novamente, o que justifica um treinamento não é somente alcançar o resultado, mas quantos passos foram dados para alcançá-lo.
• Dê tempo ao tempo – No mínimo 6 a 12 meses após o término do programa.
• Repita a avaliação periodicamente – Com isso é possível traçar o efeito versus tempo.
• Avalie uma amostragem – Neste caso, avaliar profundamente um número menor de pessoas é melhor do que avaliar 100% de forma rasa.
• Considere custo versus benefícios – Que nesse estágio já é o tão sonhado ROI (Retorno sobre o Investimento).
• Considere a “evidência” se não conseguir encontrar a “prova” – Em busca do ótimo não se faz o bom.

Volta e meia sentimos o anseio das empresas em implementar seu projeto de e-learning, porém, sempre procuramos lembrar que o projeto em si compreende muito mais etapas que somente o LMS e os cursos, sendo que uma das fases mais importantes é avaliação do projeto em si e o cuidado com as avaliações dos cursos propriamente ditos.

Lendo um post do colega do Colaborativo.org, lembrei-me de comentar mais profundamente essa questão. No artigo referido, ele comenta que um amigo próximo ministrou um treinamento numa empresa, sendo que na avaliação todos foram muito bem obrigado, porém, dias depois o gerente da empresa contatou-lhe criticando o seu treinamento pelo fato de que os colaboradores estavam tendo dificuldades na aplicação dos conceitos aprendidos.

Ratificando a idéia do autor do Colaborativo.org, digo que isso realmente foi um problema de contextualização do aprendizado e, ainda, um problema de avaliação, ou seja, o treinamento não foi contextualizado à realidade dos colaboradores e avaliação corroborou para explicar o fato, já que todos foram muito bem e não conseguiram aplicar os conceitos aprendidos.

Clique aqui para ler o artigo completo »