terça-feira, 19 de julho de 2011

POLITICAS PARA AVALIAÇÃO

Políticas para avaliação da qualidade do Ensino Superior no Brasil: um balanço crítico
Esse tratado tem por objetivo avaliar as instituições de Educação Superior- IES, valendo-se de documentos, considerando as póliticas, daí também podendo verificar falhas e possíveis modos de atuar sobre o resultado comprovadamente empírico e assim possibilitando um maior entendimento dos cursos superiores. captar e descrever as principais correntes do pensamento nacional sobre as políticas geradas no país em relação à avaliação de um sistema de ensino cuja eminente e necessária expansão não poderá acontecer sem que padrões específicos de qualidade estejam presentes.  A discussão contempla todos os sistemas de avaliação praticados no Brasil até o ano de 2005 e conclui que, desde os primeiros procedimentos estabelecidos, houve uma evolução contínua na definição de indicadores mais precisos e eficientes.
As  politicas para educação superior visam garantir a inserção do Brasil na funcionalidade múltipla do capitalismo dependente, e as greves de estudantes serviu de justificativa para acordos “MEC/USAID” e a organização ficou por conta de técnicos estrangeiros houve o acirramento do regime militar e foram produzidos dois documentos importantes como marcas da reforma do Ensino Superior: o Plano Atcon que evocava os princípios idealizadores de um modelo empresarial para o sistema universitário e projetava autonomia e independência para esse sistema. As assertivas sobre os benefícios políticos decorrentes da criação e do aperfeiçoamento dos instrumentos para aferição da qualidade de ensino constituíram-se como verdadeiros princípios institucionais da democracia brasileira pós-regime militar, tendo em vista a hipótese de que o seu crescimento exacerbado e o grande número de matrículas recebidas incorriam em perda de qualidade. Como o modelo privado de expansão do Ensino Superior custava caro ao cidadão, sua avaliação qualitativa mais do que nunca era importante como forma de prestação de contas pelo setor público à sociedade.
Textos especificamente elaborados sobre a temática da avaliação revelam uma preocupação exaustiva com o controle da qualidade das IES, tendo em vista a hipótese de que o seu crescimento exacerbado e o grande número de matrículas recebidas incorriam em perda de qualidade. Os problemas que surgiram com a expansão da Educação Básica nos anos 1960 foram prioritários para se pensar sobre a criação acelerada de IES que, nas décadas de 1980 e 1990, atingiria altos patamares quantitativos. Como o modelo privado de expansão do Ensino Superior custava caro ao cidadão, sua avaliação qualitativa mais do que nunca era importante como forma de prestação de contas pelo setor público à sociedade.
O primeiro programa  aprovado no país surgiu em 1983, com o nome de Programa de Avaliação da Reforma Universitária – PARU –,A formulação do PARU sofreu a influência do setor de pós-graduação, que no início da década de 1980 contava com um sistema de avaliação de amplo reconhecimento pela sua qualidade. A graduação não dispunha de nada comparável e que poderia efetivar quais as vantagens alcançadas e os problemas enfrentados pelos diversos cursos e instituições. A análise de dados priorizou quantificar a qualidade do corpo docente, discente e técnico-administrativo, a produtividade científica e a vinculação da instituição com a comunidade. Dessa forma, as assertivas sobre os benefícios políticos decorrentes da criação e do aperfeiçoamento dos instrumentos para aferição da qualidade de ensino constituíram-se como verdadeiros princípios institucionais da democracia brasileira pós-regime militar.  Os enfoques avaliativos surgidos nos EUA com base no funcionalismo neoliberal influenciaram o Brasil na concepção do PARU. As premissas de tais enfoques estavam associadas às crenças advindas das novas concepções de democracia.
        O MEC, a quem competia fazer a Reforma Universitária, na ausência desse consenso, viu-se tomado por intensas disputas pelo poder interno, tendo-se abrigado no seu interior vários grupos políticos diferentes a reivindicar para si a competência de decidir o que o país deveria fazer com as suas universidades.  A heterogeneidade dos membros da Comissão era marcante e nem todos tinham vivência universitária, propiciando grande confusão, de forma que o produto de seu trabalho foi um relatório difuso, constituído por um conjunto de textos desconexos a propósito de questões desencontradas. A comunidade acadêmica entrincheirou-se para evitar mudanças inapropriadas na universidade e o conceito de autonomia foi o tom normativo do próprio documento. No final de 1985, poucos meses depois de concluir o relatório, a Comissão Nacional para a Reformulação do Ensino Superior foi destituída e, no início de 1986, Marco Maciel criou o Grupo Executivo para Reformulação da Educação Superior GERES que elaborou um anteprojeto de lei que propunha uma reformulação no funcionamento do sistema constituído pelas IES federais. No entanto, o receio da desobrigação do governo para com o suprimento de recursos financeiros, o presidente da república, no contexto das dificuldades políticas existentes, retirou o anteprojeto de lei do Congresso e reeditou-o como sendo apenas uma orientação para a formulação das políticas gerais do governo para o Ensino Superior.
A metodologia de avaliação consistiu na aplicação de questionários aos docentes, dirigentes universitários e estudantes, visando coletar dados sobre a estrutura didática e administrativa das IES, bem como sobre a forma de atendimento à expansão de matrículas e meios utilizados para avaliação das atividades de ensino, pesquisa e extensão. A análise de dados priorizou quantificar a qualidade do corpo docente, discente e técnico-administrativo, a produtividade científica e a vinculação da instituição com a comunidade. O GERES porta-vozes da emergente economia neoliberal restritiva, sobretudo o Banco Mundial, propondo a redução dos investimentos públicos na Educação, acirrou os debates, entre as universidades e o governo, ao estabelecer novos critérios de avaliação para fundamentar o credenciamento e o recredenciamento de IES, centrou-se principalmente nas articulações estabelecidas entre os conceitos de autonomia e de avaliação. Os critérios apresentados pretendiam avaliar a responsabilidade social das instituições e ao mesmo tempo dar a elas maior autonomia, inclusive financeira.
A hegemonia das políticas neoliberais da década de 1990 provocou forte impacto sobre a Educação, conduzindo os agentes internacionais de suporte financeiro, notadamente o Banco Mundial, a elaborar propostas compreendendo a avaliação do ensino como parte das estratégias que seriam aplicadas para a concessão de financiamentos. Partindo em busca da diminuição dos custos estatais, as universidades públicas precisavam ser mais autônomas e pactuar com as forças do mercado, produzindo conhecimentos úteis e rentáveis como condição de sobrevivência na competitiva sociedade global. A avaliação era vista como instrumento de medida e controle para responder às expectativas de eficiência e produtividade no Ensino Superior, massificado pela explosão das matrículas e compelido a se tornar mais produtivo em situações de crescentes restrições orçamentárias. Em 1994, o Banco Mundial propôs resumidamente as seguintes diretrizes como condição de financiamento para a Educação Superior: [...] incentivar a diversidade das instituições educacionais superiores e competitividade (não a solidariedade) entre elas; estimular a ampliação e a expansão de instituições privadas; levar as universidades públicas a produzirem cada vez mais sua sobrevivência pela venda de serviços e cobrança de taxas de alunos; e, vincular os financiamentos dos organismos oficiais a critérios de eficiência e produtividade em termos mercadológicos.
SESU criou a Comissão Nacional de Avaliação das Universidades Brasileiras com a função de implementar os processos políticos recomendados internacionalmente. Após a instalação da Comissão, foi constituído um Comitê Técnico Assessor, composto por especialistas, com a função de analisar os projetos oriundos das universidades. A posição do MEC nesse processo seria a de coordenador, articulador e agente financiador da avaliação institucional, assumindo a postura política de trabalhar em parceria com as universidades.  [...] todos os elementos ensino, pesquisa, extensão, qualidade das aulas, laboratórios, titulação dos docentes, serviços, etc. que compõem a vida universitária deveriam fazer parte da avaliação, para que a mesma seja a mais completa possível. (Dias, 2001, p. 79)
O PAIUB pretendeu estabelecer novas formas de diálogo entre o governo e a comunidade acadêmica, buscando legitimar a cultura da avaliação e promover mudanças visíveis na dinâmica de ensino. Embora tenha recebido ampla adesão das universidades, sua implementação foi afetada pela interrupção do apoio do MEC, fazendo com que se reduzisse aos programas de subsídios para dar andamento somente aos objetivos da auto-avaliação interna.  O PAIUB partiu em busca de uma linguagem comum para todas as IES do país, por meio da criação de uma tabela mínima de indicadores institucionais para o ensino de graduação. Destacam-se também as seguintes idéias presentes nos subsídios que sustentaram o programa: respeito à identidade institucional, de forma a levar em consideração as diferenças entre as IES avaliadas; não-punição ou premiação pelos resultados alcançados; adesão voluntária; busca de legitimidade ética do processo; e continuidade das ações avaliativas com vistas a integrá-las à cultura institucional.
 A conclusão a que se chega é que o PAIUB não conseguiu cumprir, em sua curta existência, o objetivo de servir como um instrumento efetivo de medida sobre a produtividade do Ensino Superior brasileiro, de forma a atender às exigências impostas pelas políticas neoliberais hegemônicas de competitividade e eficiência mercadológica, preconizadas pelos agentes internacionais de suporte financeiro, como o caso do Banco Mundial. O ponto central do novo Decreto estabelecido após o PAIUB foi a "análise dos principais indicadores de desempenho global do sistema nacional de ensino superior, por região e unidade da federação, segundo as áreas do conhecimento e o tipo ou a natureza das instituições de ensino" (Art. 1º, inciso I).
Essa análise seria feita pela Secretaria de Avaliação de Informação Educacional do MEC SEDIAE – e abrangeria os seguintes pontos: taxas de escolarização bruta e líquida;  taxas de disponibilidade e de utilização de vagas para ingresso;  taxas de evasão e de produtividade; tempo médio para conclusão dos cursos;  índices de qualificação do corpo docente;  relação média alunos por docente;  tamanho médio das turmas;  participação da despesa com ensino superior nas despesas públicas com educação;  despesas públicas por aluno no ensino superior público;  despesa por aluno em relação ao Produto Interno Bruto PIB por habitante nos sistemas público e privado; e,  proporção da despesa pública com a remuneração de professores. (Brasil, 1996a, Art. 3º)
Outra dificuldade foi considerar que as taxas de disponibilidade e de utilização de vagas para ingresso medem a eficiência do sistema de ensino, pois essa variável é independente da qualidade das instituições e de seus cursos. Todas as instituições têm necessariamente que disponibilizar vagas, sendo a sua utilização fundamentalmente dependente de fatores sociais e econômicos externos, associados à condição de acesso dos alunos. O mesmo se pode dizer das taxas de evasão e do tempo médio para conclusão dos cursos, aos quais não há como atribuir diretamente a eficiência ou a ineficiência do sistema. Os fatores de evasão e tempo de conclusão são conseqüências de condições segundo as quais cada um dos alunos consegue estudar, respondendo a particularidades socioeconômicas que em sua maior parte são externas às instituições.
Outros pontos propostos pelo Decreto nº. 2.026/96, tais como o índice de qualificação do corpo docente, a relação média de alunos por professor e os tamanhos médios das turmas, sem dúvida dizem respeito a indicadores de qualidade institucional, mas nada há que garanta correlações numéricas precisas, pois não se pode inferir que um corpo docente extremamente qualificado produza altos coeficientes de rendimento educacional em condições precárias de trabalho como, por exemplo, estar sujeito a baixos salários. Já um corpo docente menos qualificado, mas bem estruturado institucionalmente, poderá ter muito mais motivação para ensinar.
A princípio, quanto maior a participação da despesa pública no Ensino Superior maior será a qualidade desse ensino. No entanto, os cânones neoliberais dominantes da economia global exigem uma razão de eficiência dada pela obtenção de maior rendimento com menos investimentos. Dessa forma, fica-se sem saber o limite de quanto o sistema público deve investir para gerar mais eficiência no sistema, de forma a atender com qualidade ao maior número possível de alunos. Seria relevante se o Decreto voltasse suas preocupações para os aspectos qualitativos do investimento público em Educação Superior, determinando canais de avaliação que procurassem estabelecer com mais precisão os contornos do custo da qualidade. No que diz respeito à "avaliação individual das instituições de ensino superior conduzida por comissão externa à instituição especialmente designada pela Secretaria de Educação Superior – SESU" (Art. 4º), o Decreto nº. 2.026/96 considera três aspectos centrais. Primeiramente, refere-se à "efetividade do funcionamento dos órgãos colegiados" (Inciso I). A avaliação dessa efetividade é bastante relativa, podendo-se considerar a quantidade de reuniões realizadas, a quantidade de propostas votadas, a representação institucional dos membros medida a partir da proporção entre o número de professores, funcionários e alunos etc. Entretanto, nenhum desses fatores traduz necessariamente a qualidade de ensino, de onde se conclui que os órgãos colegiados, mesmo que efetivos e sem os quais nenhuma instituição poderia funcionar corretamente, podem existir de tal forma que sejam totalmente ineficientes. Fica a pergunta: o que significa objetivamente avaliar a 'efetividade' do funcionamento dos órgãos colegiados universitários?
A partir dos anos 90, os estudos culturais, o pós-modernismo, o pós-estruturalismo, os estudos de gênero, os estudos de raça, os estudos ambientais, dentre outros, passaram a fornecer a referência para a compreensão dos problemas e das questões envolvidas no campo do currículo em geral. (p. 95) . O Inciso IV do Art. 4º estabelece como deve ser a avaliação da produção científica, cultural e tecnológica, assunto que recentemente gerou grandes controvérsias. Dados de 2004 colocaram o Brasil como o 19º classificado em um grupo dos 31 países que concentram 98% dos artigos científicos mais citados produzidos no mundo todo. A produção brasileira passou de 0,84% no qüinqüênio 1993-1997, para 1,2% em 1997-2001. Isso representou um acréscimo de 45% acima do desempenho médio mundial, mas se pergunta: E por que esse desempenho não correspondeu a um crescimento expressivo do nosso PIB no mesmo período? A resposta é que não é a ciência (a geração de conhecimentos), como muitos pensam, mas sim o domínio da tecnologia industrial (a competência no uso de conhecimentos para gerar inovações que tornem nossa indústria mais competitiva) que faz a economia crescer de modo sustentado e rápido, como o mostram os países orientais. E essa competência em inovação tecnológica não se mede por artigos: ela é internacionalmente medida pelas patentes concedidas no maior mercado, o norte-americano. (Férézou; Nicolsky, 2004, p. A3)
Pouco se sabe sobre o custo do Brasil ter aumentado sua participação na produção científica mundial em termos da quantidade de citações sobre os seus pesquisadores. Tem-se a impressão de que o investimento em pesquisa realizado depois de 1997 foi proporcionalmente muito maior do que os resultados alcançados, levando o país a obter ganhos apenas em termos de produtividade absoluta, mas perdendo quando são levados em consideração os valores gastos. Por isso é que, computados os dados do escritório de registro de marcas e patentes dos EUA – USPTO –, o avanço brasileiro foi mínimo: apenas 1%. Muitos são radicais e acreditam que o critério adotado pelo Decreto n. 2.026/96, de avaliar a produtividade científica em termos da quantidade de artigos e citações, traduz-se "num processo elitista e estéril para o desenvolvimento econômico e social do país" A avaliação dos cursos de graduação "far-se-á pela análise de indicadores estabelecidos pelas comissões de especialistas de ensino [...]" (Art. 5º).
No entanto, na prática, o trabalho dos especialistas consistiu apenas na aplicação da famosa escala de cinco níveis que vai do muito fraco ao muito bom. Tratava-se, portanto, de uma avaliação subjetiva, de fundo meramente qualitativo, longe de representar a objetividade contida em indicadores definidos por estatísticas nacionais precisas. Questões como essa mostram que a avaliação do Ensino Superior brasileiro no início dos anos 1990 esteve longe de atingir patamares mínimos de objetividade. Numa situação em que os mercados de trabalho nacional e internacional passam por profundas transformações estruturais, decorrentes de uma economia em completa mudança, pergunta-se: como saber se o acadêmico de determinado curso de uma certa instituição está recebendo o ensino correto para obter uma formação profissional adequada para atuar num mercado de trabalho de futuro incerto? Se até mesmo a pergunta é difícil de ser feita, imagine a resposta do avaliador!
Quanto à análise das condições de oferta pelas instituições de Ensino Superior, serão consideradas:
[...] I. a organização didático-pedagógica; II. a adequação das instalações físicas em geral; III. a adequação das instalações especiais, tais como laboratórios, oficinas e outros ambientes indispensáveis à execução do currículo; IV. a qualificação do corpo docente; V. as bibliotecas com atenção para o acervo bibliográfico, inclusive livros e periódicos, regime de funcionamento, modernização dos serviços e adequação ambiental. (Brasil, 1996a, Art. 6º)
"A indiferença ou o descontentamento dos estudantes jamais estão desprovidos de significação, por mais infundados que possam parecer ao professor. Ninguém melhor do que o próprio estudante pode explicar seu entusiasmo ou suas dificuldades" . Vendo e ouvindo o docente em ação, geralmente os estudantes são as únicas testemunhas diretas do processo de ensino, o que lhes permite realizar. Os célebres laboratórios de informática de grande parte das IES são um caso típico de uso didático superdimensionado e muitas vezes inadequado, tendo-se destinado a eles muitas horas de trabalho, mas com baixos resultados de aprendizagem, pois o tipo de processo pedagógico dominante prescinde em larga escala de uma relação professor-aluno melhor do que a realizada na sala de aula.
Fator que se mostrou diretamente associado ao rendimento do aluno está situado na forma como as instituições estruturam a carreira docente. Assim, os dados do ENC apontam que a valorização do trabalho do professor por meio da organização de carreiras docentes consistentes e o bom gerenciamento das horas disponíveis tendem a produzir um melhor desempenho pelos alunos. A qualificação do professor, na verdade, deve ser entendida apenas como condição de acesso à carreira e progressão dentro dela, mas se essa não for adequada para produzir bons resultados, os talentos de um corpo docente otimamente qualificado poderão estar sendo jogados fora.
Os indicadores de qualidade da leitura realizada pelos alunos podem ser obtidos por meio de questionários aplicados durante sua freqüência à biblioteca, objetivando levantar informações para compor escalas de avaliação e compreendendo pontos da seguinte natureza: os motivos mais freqüentes que levam o aluno a procurar a biblioteca; se ele encontrou o que precisava no acervo; se do seu ponto de vista a atualização do acervo é adequada; qual a periodicidade das suas visitas; qual sua opinião sobre o espaço físico, sobre o atendimento dos funcionários, o tempo de permanência, o tipo de material consultado, a natureza e os objetivos do material retirado como empréstimo etc. O ENC comprovou que existe uma relação direta entre a
Em 2001, foi editado o Plano Nacional de Educação PNE – (Brasil, 2001a), contemplando a idéia de instituir um amplo sistema de metas para a Educação Superior e estabelecendo que até o ano de 2010 será provida a oferta de vagas para, pelo menos, 30% da população na faixa etária de 18 a 24 anos. De fato, a taxa acumulada do crescimento geral das matrículas no período 1996-1999 foi de 34,7%, enquanto que no período 2000-2003 atingiu 64,1%. Grande parte da expansão foi realizada dentro do setor privado, que absorveu 45,2% no primeiro quadriênio indicado e 78,9% no segundo. Já o setor público apresentou resultados bem mais modestos, absorvendo 18,8% e 36,9% respectivamente. A taxa média de crescimento das matrículas como um todo foi de 7,7% e 13,1% respectivamente. Com base nesse último resultado, projeta-se que até o ano 2010 haja 9.234.548 alunos matriculados no Ensino Superior, devendo, por força do PNE, a oferta pública cobrir pelo menos 40% das vagas, correspondente a 3.693.820 alunos (Ministério da Educação, 2004a).
Mesmo que as preocupações com a qualidade da oferta possam ser observadas nas políticas formuladas para o Ensino Superior no Brasil, a necessidade de expandir a demanda tem sido praticada mais com a ampliação quantitativa das vagas e o credenciamento de cursos, do que com a melhoria das condições de acesso da população ao sistema. Em 1997, havia aproximadamente 2.500 cursos de graduação nas instituições públicas e o mesmo número nas instituições privadas, sendo que estas, em sua maioria, sempre apresentaram uma história mais baixa de qualidade. Em 2003, o montante de cursos oferecidos pelas instituições privadas subiu para 10.791 e o das públicas para apenas 5.662. Surgiram 5,6 novos cursos a cada dia no Brasil em 2003, sendo 4,5 criados no setor privado e somente 1,1 no setor público. Em 2003, o setor privado apresentou uma ociosidade de 42,2% em suas vagas, que foram oferecidas e não ocupadas, enquanto que no setor público esse valor atingiu 5,1%. Isso significa que o aumento da oferta de vagas não propiciou a expansão do montante desejável das matrículas. É preciso criar condições para que a população tenha acesso às vagas oferecidas, o que tem sido a tônica das políticas dos dois últimos anos, em particular com a criação do Programa Universidade para Todos PROUNI. Ressalte-se que, para a meta do PNE ser atingida, "serão necessários investimentos significativos, especialmente para absorver os alunos de baixa renda que hoje têm acesso à educação fundamental e média" (Ministério da Educação, 2004a, p. 45).
Dessa forma, o Brasil desenvolveu um sistema de Educação Superior que não conseguiu suprir as especificidades reais de uma demanda formada em sua grande parte por alunos que não conseguem pagar a escola privada. O atual governo planejou criar mais vagas nas escolas superiores públicas, mas não se sabe quando nem quantas vão surgir. Tendo-se em conta o contingente de alunos ingressantes atendidos pelas IES públicas em 2003, será necessário expandir o sistema em mais de 300% para cumprir as metas do PNE até 2010. Independentemente desse problema, mesmo que não tenham sido feitos esforços mais aprofundados para interpretar os resultados dos sucessivos levantamentos realizados desde o PAIUB, parecem ser ruins os indicadores sobre a organização didático-pedagógica das instituições, a preparação do corpo docente, as instalações físicas, as bibliotecas, os equipamentos etc.
A ACE, sem dúvida, deveria ter levantado os níveis médios da queda da qualidade do Ensino Superior no Brasil, queda essa decorrente da expansão descontrolada da oferta, que refreia a demanda, segundo os princípios elementares da economia de mercado. Voltada apenas para a oferta, a ACE foi uma metodologia inexperiente que deu os primeiros passos de forma cambaleante e ignorou a importância da análise da demanda. O problema mais grave da Educação Superior no Brasil é o do acesso da população ao sistema de oferta, que está longe de ser resolvido diante do fato de que o número de vagas em condições de serem preenchidas ultrapassa de muito até mesmo as previsões mais otimistas, pois "de cerca de um milhão de estudantes que fizeram o ENEM [Exame Nacional do Ensino Médio] nesse ano [2004], 600 mil se enquadram no PROUNI [Programa Universidade para Todos], mas há só cerca de 110 mil vagas" (Bragon, 2004, p. C5). O PROUNI é o resultado de políticas voltadas para facilitar o acesso da demanda à oferta instalada, custeando integral ou parcialmente a matrícula de alunos de baixa renda no Ensino Superior privado, em troca de isenções tributárias como Imposto de Renda, Contribuição Social sobre Lucro Líquido, Contribuição para Financiamento da Seguridade Social COFINS, Programa de Integração Social PIS etc.
        A avaliação das condições de acesso aos sistemas de informação, por exemplo, somente poderá ser avaliada completamente quando se conhecer a média de tempo despendida pelos alunos para estudar por meio do acesso às redes de comunicação. Não se conhece, no Brasil, o tempo médio que cada aluno permanece dentro das bibliotecas universitárias consultando o acervo impresso tradicional nem se esse tempo cresceu ou diminuiu nos últimos anos. Se o tempo médio de consulta aos sistemas de informações eletrônicas cresceu e o tempo médio de consulta ao acervo impresso caiu, mas se a média de desempenho dos alunos nos exames nacionais não mudou, é porque o sistema brasileiro de Ensino Superior ainda não se adequou às promessas das tecnologias digitais. Ou seriam essas tecnologias infrutíferas quando se trata da crença de que elas facilitam os processos de aprendizagem? Dessa forma, para avaliar se uma determinada instituição está desenvolvendo adequadamente seus planos pedagógicos no que toca à política de acesso dos seus alunos às redes de comunicação e aos sistemas de informação, é preciso comparar os resultados por ela apresentados com o quadro geral de dados tomados do conjunto de todas as instituições brasileiras.
Para que não sejam repetidos os erros da ACE, é necessário um modelo de análise capaz de fornecer indicadores mais adequados, pois o diagnóstico realizado aponta que "nem todas as informações geradas pelas visitas estão incluídas no banco de dados, o que compromete a geração de relatórios estatísticos e uma análise geral das avaliações" (Ministério da Educação, 2003a, p. 42). No entanto, para que as informações sejam incluídas na base de dados, é necessário anteriormente superar as deficiências sistêmicas existentes, ou seja, é preciso que haja modelos analíticos implantados nos computadores sob a forma de programas que processem as informações e gerem relatórios conseqüentes. Não é vantajoso incluir os dados constituídos pelos levantamentos primários in loco no banco de informações, sem que programas de análise computacional baseados em modelos teóricos mais bem elaborados sejam desenvolvidos e implantados. A conseqüência mais danosa da falta desses modelos é que sem eles dificilmente o sistema de avaliação consegue cumprir sua função formativa, o que permite compreender melhor a seguinte
Os instrumentos utilizados pelo ENC foram provas escritas e questionários para levantamento de informações sobre os alunos. As provas apresentaram questões discursivas ou de múltipla escolha com ênfase na capacidade de análise crítica, resolução de problemas, raciocínio lógico, organização de idéias, proposição de hipóteses e formulação de conclusões. A proposta foi a de avaliar os projetos pedagógicos dos cursos por meio de questões cujas respostas exprimissem a dimensão qualitativa da aprendizagem obtida pelos alunos, face aos componentes curriculares mínimos dos cursos de graduação do país. O MEC traçou diretrizes orientadoras para cada área de conhecimento, nomeando comissões de especialistas indicadas pelas entidades ligadas ao ensino de graduação, como os conselhos profissionais, as associações científicas das áreas contempladas etc.
O modelo estatístico dos resultados das provas escritas sofreu variações ao longo da história do ENC, sendo inicialmente traduzida pela média geral dos graduandos de cada um dos cursos examinados, utilizando-se uma escala absoluta de 0 a 100, em que eram definidos cinco níveis de desempenho segundo porcentuais pré-fixados: aos 12% dos cursos com as médias mais fracas foi atribuído o conceito E; aos 18% seguintes, o conceito D; aos 40% seguintes, o conceito C; aos 18% seguintes, o conceito B; e aos 12% mais fortes, o conceito A. Posteriormente, em 2001, foi aplicado um modelo de conversão dos valores absolutos das médias obtidas pelos cursos em uma escala relativa baseada no desvio padrão dessas médias. Em 2003, na última versão do exame, os resultados foram publicados tanto em termos de conceitos relativos quanto absolutos. Para esses últimos, na atribuição dos níveis, não se utilizou mais a escala porcentual pré-fixada, mas a posição das médias gerais obtidas dentro de intervalos específicos da escala de 0 a 100.
 [...] os conceitos não refletem a qualidade dos cursos e são inadequados para orientar políticas educacionais comuns a todos; [...] são insuficientes para orientar os alunos, pais de alunos e a sociedade em geral sobre a qualidade dos cursos; [...] são incapazes de adequadamente orientar as ações administrativas dos dirigentes das IES; e, [...] por si só, são insuficientes para ranquear os cursos ou orientar políticas premiativas e/ou punitivas como até aqui se vinha fazendo. (Ministério da Educação, 2003c, p. 9-10)
O seguinte argumento é elucidativo quanto à incredibilidade do ENC como veículo de avaliação da qualidade de ensino: Um conceito baixo no ENC pode significar, por exemplo, que o curso recebe alunos muito fracos e que, apesar dos esforços institucionais, não é possível levá-los a um desempenho comparável aos dos alunos mais fortes de instituições com vestibulares altamente competitivos. Um 'A', da mesma forma, pode significar simplesmente que, em função do alto nível de exigência de ingresso, o curso está trabalhando com os melhores alunos. Nesse caso, o desempenho no ENC pode ter muito pouco a ver com a titulação dos professores, a sofisticação das metodologias e técnicas de ensino, a quantidade e atualidade do acervo bibliográfico, a qualidade de laboratórios didáticos ou a atmosfera acadêmica do curso etc. (Ministério da Educação, 2003c, p. 10)
A proposta de avaliação da Educação Superior produzida na gestão do Presidente Luiz Inácio Lula da Silva se dá no âmbito da revisão da política forjada no mandato anterior do Presidente Fernando Henrique Cardoso: "uma das críticas mais constantes que se fazem às práticas avaliativas vigentes nestes últimos anos consiste no uso de instrumentos aplicados a objetos isolados e que conduzem a uma visão parcial e fragmentada da realidade" (Ministério da Educação, 2003a, p. 62). A nova proposta assume que é preciso utilizar esquemas de compreensão global capazes de romper com a fragmentação metodológica existente e instituir sistemas de avaliação em que as diversas dimensões da realidade avaliada instituições, sistemas indivíduos, aprendizagem, ensino, pesquisa, administração, intervenção social, vinculação com a sociedade etc. sejam integradas em sínteses compreensivas. A nova concepção pretende assegurar uma coerência tanto conceitual e epistemológica quanto prática em relação aos objetivos e instrumentos utilizados, colocando-se como capaz de articular a natureza formativa da avaliação, voltada para o aumento da qualidade e capacidade das instituições com as funções de regulação próprias do Estado, envolvendo supervisão, fiscalização, credenciamento, descredenciamento etc. Sua legitimidade ética e política é tida como "assegurada pelos seus propósitos proativos, respeito à pluralidade, participação democrática e também pelas qualidades profissionais e cidadãs de seus atores"; e sua legitimidade técnica é assumida como "assegurada pela teoria, pelos procedimentos metodológicos adequados, pela elaboração correta dos instrumentos e por tudo o que é recomendado numa atividade científica" (Ministério da Educação,
Os recursos de cada instituição em particular para um amplo levantamento de informações são limitados, de forma que se deveriam juntar esforços para produzi-las. Como o SINAES é um instrumento desenvolvido pelos órgãos políticos centrais da educação brasileira, ele deveria contemplar entre seus objetivos a organização de sistemas de informações básicas para servirem de referência geral para a auto-avaliação. Julgando-se a sistemática proposta pelo roteiro, conclui-se que provavelmente os resultados obtidos terão pouco efeito formativo sobre as instituições, a menos que o SINAES chegue a termos mais elaborados e corrija os. Os dados do Censo da Educação Superior, mesmo que inadequados para a caracterização de uma instituição em particular e dos seus cursos, conforme já foi aqui discutido, também serão de igual identidade para qualquer uma das comissões em questão. Conclui-se que as funções das duas comissões de avaliação externa in loco estão completamente imbricadas, de forma que poderia haver apenas uma comissão, talvez de natureza interdisciplinar, contemplando tanto os cursos quanto a instituição como um todo. Isso tornaria o processo mais rápido e, o que é mais importante, mais econômico do ponto de vista dos custos financeiros necessários para realizá-lo, problema esse que já se fez sentir em momentos anteriores e modificou os rumos das estratégias de avaliação do Ensino Superior no Brasil.
Os alunos que entram nas instituições mais competitivas se situam no início em posições de desempenho mais altas do que os alunos que entram nas instituições menos procuradas. No final da graduação, os primeiros deverão continuar apresentando índices de desempenho maiores que os outros, mas não se pode afirmar que a diferença entre esses índices e os anteriores meça em absoluto a qualidade de ensino que receberam. As instituições que recebem alunos mais fracos, mesmo que se empenhem em recuperar os déficits de aprendizagem existentes, terão muita dificuldade em se equiparar às instituições que recebem alunos mais fortes. A qualidade do aluno é essencialmente diferente da qualidade de ensino, mas ambas se confundem na prática. No Brasil, a elitização na Educação acontece desde o nível fundamental, produzindo alunos mais bem preparados que ingressam nas escolas superiores mais competitivas e que, portanto, são melhores, perpetuando o processo de elitização. Isso mostra que os instrumentos de avaliação da Educação Superior somente chegarão a patamares objetivos quando os vários sistemas de educação básica no país conseguirem romper as barreiras impostas pela desigualdade social.
        Desde os primeiros procedimentos estabelecidos no Brasil para a avaliação de cursos e instituições de Ensino Superior até hoje, pode-se dizer que houve uma evolução sistemática na consistência dos indicadores empregados. Os dados que refletem condições socioeconômicas globais exteriores aos cursos e às instituições, tais como as taxas de escolarização e de disponibilidade e utilização de vagas, deixaram de ser utilizados, pois não havia como operacionalizá-los. Houve um avanço importante na forma como se concebe a avaliação do corpo docente, não mais se utilizando apenas o IQCD como indicador de qualidade, mas se considerando dados sobre a estrutura da carreira oferecida pelas instituições, bem como a jornada e as condições de trabalho. A concepção de avaliação da organização didático-pedagógica parece ser a que menos sofreu avanços, reproduzindo um modelo em que os indicadores são passíveis de inúmeras críticas quanto à sua consistência. A medida da capacidade de acesso institucional às redes de comunicação e aos sistemas de informação, mesmo que introduzida na avaliação de forma pouco definida, subtendendo o levantamento de dados sobre equipamentos e instalações, suscita em seus desdobramentos a criação de indicadores voltados para a quantificação do tempo gasto pelo aluno para estudar utilizando os novos meios que, comparado aos meios tradicionais, exprimirá de fato a relevância da informatização do ensino.
 O papel da avaliação do desempenho discente entendido como indicador da qualidade institucional é polêmico e os métodos criados para realizá-lo têm-se mostrado ineficientes, quando se considera que o acesso da população ao sistema de Ensino Superior no Brasil está pautado em inegáveis princípios de desigualdade social. Tenta-se mudar a natureza regulatória que caracteriza o processo avaliativo no Brasil, introduzindo-se procedimentos que visam ao caráter formativo, mas métodos apropriados para isso ainda não foram encontrados nem a cultura da auto-avaliação, que se faz necessária para tanto, está constituída. Um indicador inquestionavelmente pertinente para aferir a produtividade do ensino é a medida da quantidade de alunos por hora de trabalho do professor. Teoricamente, pode-se chegar a um valor médio ideal que estabelece a relação de maior produtividade. As instituições que trabalham próximas a essa média têm obviamente um fator de qualidade a mais. Estranhamente, no entanto, esse indicador nunca foi utilizado no Brasil. O próprio MEC reconhece as falhas sistêmicas existentes no que tange à avaliação da Educação Superior brasileira e a necessidade do desenvolvimento de instrumentos que permitam entender com mais clareza a realidade existente. Além disso, uma base de dados nacional, que sistematize as informações mais importantes a partir do levantamento de todas as instituições, ainda está para ser construída.
BIBLIOGRAFIA:
Carmen Lúcia Dias- Políticas para avaliação da qualidade do Ensino Superior no Brasil: um balanço crítico  Educ. Pesqui. vol.32 no.3 São Paulo Sept./Dec. 2006