INTRODUÇÃO

Nos últimos dez anos, foi possível identificar um crescimento no quantitativo de pesquisas internacionais e nacionais que procuraram analisar o nível do desempenho de Instituições de Ensino Superior (IES), sejam de natureza pública ou privada (Tachizawa & Andrade, 2006; Kobs & Reis, 2008; Ville & Valadkhani, 2009; Lugoboni, 2010; Bartsch, 2011; Galvão, Corrêa & Alves, 2011; Klann et al, 2012).

É importante destacar que grande parte dos estudos sobre desempenho de IES fazem menção ao desempenho gerencial das instituições, visto que, a preocupação principal está em diagnosticar a qualidade das práticas institucionais que serão revertidas ao desenvolvimento da comunidade acadêmica. Com isso, a análise de desempenho de gestão de instituições é considerada como um processo significativo para aqueles que são receptores de seus resultados (Vidovich & Slee, 2001; Löfstrom, 2002).

As universidades estrangeiras, por exemplo, são tradicionalmente reconhecidas pelo seu alto nível de desempenho gerencial e acadêmico, a exemplo da América do Sul que vem destacando-se pela atuação corrente na promoção de instituições com estruturas gerenciais e acadêmicas mais robustas e com maior qualidade.

No Brasil, as IES estão procurando estruturar seus padrões de desempenho de acordo com as exigências previstas pelo Ministério da Educação e Cultura (MEC), bem como pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) (Steiner, 2005). Em virtude dessas exigências, analisar o desempenho das Instituições Federais significa determinar a orientação necessária para a tomada de decisão e, ao mesmo tempo, estabelecer novos rumos que melhorem a qualidade institucional.

Cabe destacar que o processo de avaliação do desempenho institucional constitui-se como compromisso assumido pela gestão organizacional das IES, visando à melhoria contínua dos serviços prestados (Macedo, Verdnelli & Stucker, 2003). Nesse contexto, a avaliação deve ser compreendida como um instrumento necessário de gestão para mensurar os esforços da organização para conduzir suas ações de maneira dinâmica, buscando resultados eficientes para a instituição (Bartsch, 2011). Convém dizer que, a análise de desempenho por indicadores de investimentos para a qualidade tem sido conduzido tanto pela via da mensuração do desempenho global da instituição quanto pelo critério da sustentabilidade institucional (Lindsay, 1991; Barnetson & Curtright, 2000; Yáber & Valarino, 2002; Maingot & Zeghal, 2008; Azma, 2010; Waheed, 2011).

Tendo em vista a avaliação de desempenho em IES, essa pode ser dividida em dois blocos de análise, a saber: desempenho acadêmico, relacionado à qualidade de ensino, da pesquisa, ao aproveitamento dos egressos no mercado de trabalho, dentre outros e, outro bloco seria relativo ao desempenho econômico financeiro destas instituições (Klann et al, 2012). É importante frisar que os indicadores são relevantes para a avaliação do desempenho e como ferramentas voltadas ao controle do gerenciamento (Lugoboni, 2010).

Atualmente se vem dando também uma forte ênfase aos estudos que envolvem diagnósticos de desempenho no setor público, isso porque esse direcionamento consolidou-se como o caminho necessário para a eliminação de possíveis gargalos decorrentes dos processos burocráticos embutidos na gestão pública das IES (Macedo, Verdnelli & Stucker, 2003).

Desse modo, esta pesquisa está orientada para responder ao seguinte problema: Como a aplicação dos recursos orçamentários destinados às Instituições Federais de Ensino Superior (IFES) brasileiras relaciona-se com os indicadores de gestão e desempenho do Tribunal de Contas da União (TCU)?

Dessa maneira, o objetivo geral está pautado em investigar a relação entre a forma de aplicação do orçamento das IFES e os indicadores de gestão e desempenho do Tribunal de Contas da União (TCU). Especificamente, procurou-se: i) identificar os indicadores mais fortemente relacionados com a aplicação do orçamento; ii) mensurar a relação existente entre os diversos indicadores de desempenho; iii) classificar as IFES de acordo com o desempenho alcançado.

A pesquisa utilizou-se de dados reais oriundos do ano de 2013 e consistiu na aplicação de técnicas estatísticas multivariadas de análise de dados com o propósito de apresentar resultados objetivos e coerentes com a realidade das IFES. E por meio de uma amostra de 42 instituições, utilizou-se a regressão linear múltipla e observação de conglomerados para atender ao objetivo proposto.

Partindo dos pressupostos levantados acima, o trabalho justifica-se pela contribuição de nortear a tomada de decisão das IFES brasileiras no sentido de aplicarem seus recursos orçamentários para o estabelecimento da qualidade do seu desempenho institucional.

2. REFERENCIAL TEÓRICO

2.1. Gestão da Educação Superior

Nos últimos anos, mudanças na administração pública brasileira fizeram com que o Estado assumisse uma nova posição na condução estratégica e no incentivo da atuação dos demais setores da sociedade através da adoção de novos modelos de gestão ‘pós’ ou ‘neo’ burocráticos, orientados para os resultados, isto é, controlados por meio de medidas pautados no desempenho (Brasil, 2009).

Pode-se dizer que a adoção desses novos modelos de gestão surgiu, na verdade, como uma superação a crise fomentada pelos padrões exclusivamente burocráticos da tradição funcionalista das organizações. Com isso, os modelos ‘pós’ ou ‘neo’ burocráticos visam atuar na estruturação institucional do Estado, almejando a orientação de uma governabilidade eficiente (Araújo & Castro, 2011).

Essa discussão pode ser representada pelo Programa Nacional de Gestão Pública e Desburocratização (GESPÚBLICA), instituído pelo governo federal no ano de 2005. Tal projeto tem como finalidade o direcionamento de instituições públicas em construírem modelos específicos de mensuração do desempenho com uma política formulada por meio da premissa de que a gestão de órgãos e entidades públicas podem e devem buscar a excelência comparando-as aos padrões internacionais de qualidade na gestão.

Desse modo, uma gestão eficiente no setor público é alcançar resultados, independentemente de meritórios esforços e intenções, que buscam atender às demandas, aos interesses coletivos e às expectativas dos cidadãos ou organizações componentes da sociedade, de forma realista e sustentável (Brasil, 2009).

No sentido de acompanhar o processo de reforma do Estado, houve no campo da educação superior uma substituição dos controles burocráticos, que até então, caracterizavam a relação do Estado com ela, por uma nova cultura gerencial que incorporou a política de avaliação como elemento estratégico da gestão pública (Castro, 1997). A lógica da discussão sobre a necessária expansão da educação superior no Brasil implicou em rediscutir as políticas e os marcos organizacionais e regulatórios vigentes e, sobretudo, a perspectiva privatista subjacente às políticas de regulação e gestão deste nível de ensino (Catani & Giliolo, 2005; Cunha, 2007; Dias Sobrinho, 2002; Ristoff, 2002; Dourado, 2002; Dourado; Catani; Oliveira, 2006).

Dessa forma, as políticas educacionais foram redirecionadas e sintonizadas com as premissas neoliberais, que enfatizam a produtividade, eficiência e qualidade total (Sguissardi & Silva Jr, 2001; Oliveira, 2007). A Lei de Diretrizes e Bases da Educação Nacional (LDB), aprovada em 20 de dezembro de 1996 (Lei nº 9.394/96), é considerada como o marco de referência para o início do processo de reestruturação da educação superior no Brasil (Catani & Oliveira, 2007).

O governo Fernando Henrique Cardoso (1994-2003) deu início a uma ampla reforma que objetivou modificar o panorama da educação no país, particularmente da educação superior, na qual entendeu-se que o modelo único – ensino, pesquisa e extensão – havia esgotado-se e seria incapaz de adaptar-se às novas condições da economia mundial, pois era inerte e inflexível às demandas, às exigências e aos desafios atuais.

Com isso, era necessário flexibilizar e diversificar a oferta de educação superior, de maneira a possibilitar o surgimento de novas estruturas institucionais e organizacionais e que as instituições existentes, em especial as universidades, pudessem repensar sua identidade e desenvolver competências mediante a associação com as demandas e exigências do regional, do local, do setor produtivo e do mercado de trabalho (Brasil, 1996).

Consequentemente a busca pela modernização e expansão do ensino superior no Brasil criou um novo cenário em que a competitividade passou a tornar-se o elemento incentivador por melhores práticas e aumento constante da eficácia e eficiência (Muriel, 2006).

Corroborando com esse pensamento, Vieira (2003, p. 908) aponta que “no tempo da inovação tecnológica, da gestão de qualidade, da eficiência e racionalização de custos, o desempenho das organizações públicas é crescentemente contestado”. E segundo Venturini (2010, p. 32) “a universidade pública, em nosso país, tem experimentado profundos questionamentos sobre a qualidade de suas atividades e a maneira como tem empregado os recursos que a sociedade coloca à sua disposição”.

Sob esse prisma, as instituições públicas de ensino superior brasileiras têm sido alvo de diversas indagações há três décadas, principalmente devido aos problemas de gestão (Vieira & Vieira, 2004). Assim, a competitividade no setor da educação é fato concreto e visível na conjuntura atual, tendo em vista à expansão das IES no contexto brasileiro. Essa perspectiva direciona na busca por padrões de eficiência para sua gestão, com o objetivo de atender aos anseios da sociedade (Scharmach, 2014).

2.2. Indicadores de gestão e desempenho do TCU para IFES

Diversas são as iniciativas internacionais que têm trabalhado em propostas de índices de avaliação (Biggeri & Bini, 2001; Dundar & Lewis, 1999; World Bank, 1994; Yonezawa, 2008; Bertolin, 2007; Navarra, 2004) como instrumentos orientadores do processo de avaliação de eficiência das universidades. No Brasil, avaliação do ensino superior está sendo discutida em publicações científicas (Fávero, 2006; Polidori, 2009; Zandavalli, 2009). Com isso, ressalta-se a importância desse tema, bem como de salientar as diversas críticas relacionadas à adequação e efetiva utilidade das métricas para o processo de avaliação interna e externa das Instituições de Ensino Superior.

A busca pela maior efetividade na missão da organização pública, maior redução de custos, maior grau de eficiência, comprometimento com o público, melhores práticas gerenciais são algumas das variáveis encontradas na administração pública que podem servir de parâmetro para medir o desempenho organizacional. Nessa perspectiva, a gestão do desempenho é um conjunto sistemático de ações que buscam estabelecer os resultados a serem alcançados e os recursos necessários para tanto, incluindo os mecanismos de alinhamento das estruturas implementadoras e da sistemática de monitoramento e avaliação (Brasil, 2014).

A utilização de indicadores de gestão visa proporcionar ferramentas que permitam o melhor gerenciamento dos recursos disponíveis e, ao mesmo tempo informar a comunidade sobre o uso destes recursos. Ademais, pode exercer, na perspectiva do cidadão e de entidades fiscalizadoras superiores, um melhor controle na avaliação de desempenho do gestor público (Reis, 2011). E, no contexto das Instituições de Ensino Superior do Brasil, o Decreto nº 92.200/1985, no Art. 1º, inciso IV, declara como objetivo a implantação de um sistema de acompanhamento e avaliação das mesmas.

Nesse sentido, na segunda metade dos anos 1990, a avaliação externa ganhou relevância por meio do Exame Nacional de Cursos (ENC) e em 2002 com o estabelecimento de indicadores de gestão pelo Tribunal de Contas da União juntamente com a Secretaria Federal de Controle Interno e a Secretaria de Educação Superior do Ministério da Educação (SESu) (Brasil, 2014).

Em 2004, o governo brasileiro por meio da Lei nº 10.861 de abril de 2004, adotou o Sistema Nacional de Avaliação da Educação Superior (Brasil, 2014), no qual, ficaram estabelecidos os seguintes fins: melhoria da qualidade da educação superior; orientação da expansão e da oferta; aumento da eficácia institucional; efetividade acadêmica e social; afirmação da autonomia e da identidade institucional, entre outros. Ressalta-se, entretanto, que a ação de mensurar o nível de eficiência de um programa público pode ser reflexo da dificuldade de verificar e analisar a consecução das metas e objetivos estabelecidos, correlacionando-os com os custos necessários para atingir estes resultados.

O Tribunal de Contas da União, em sua decisão nº. 408/2002, determinou que as Instituições Federais de Ensino Superior incorporassem em seus relatórios de gestão um total de nove indicadores de desempenho, com o intuito de construir uma série histórica da evolução de aspectos relevantes gerenciais, orientando a auditoria de natureza operacional quanto às boas práticas administrativas. Tais parâmetros são ferramentas auxiliadoras no acompanhamento do desempenho das entidades, servindo de instrumento de aprimoramento da gestão das IFES (Brasil, 2014).

Dessa forma, a utilização de critérios de performance para mensurar os resultados alcançados pelos gestores refere-se a uma técnica relacionada com o conceito de accountability de desempenho e que contribui ainda para o processo de transparência sobre como estão sendo geridos os recursos públicos e quais resultados estão sendo alcançados. Ainda sob a visão da gestão pública, esses indicadores apresentam-se como uma ferramenta de feedback ou retroalimentação para o processo de aprendizagem organizacional, auxiliando tanto na elaboração do planejamento quanto no controle (Brasil, 2014).

Segundo a Norma de Execução nº 5, de 28 de dezembro de 2007, Anexo V (Portaria CGU nº 1.950/2007, de 28/12/2007), os índices do TCU estão separados em grupos de indicadores: eficiência, eficácia, efetividade e comparabilidade, na qual as medidas de eficiência estabelecem a relação entre resultados obtidos e recursos empregados; os de eficácia referem-se ao resultado ou mesmo à comparação de metas cumpridas com metas planejadas; os de efetividade estão relacionados ao resultado efetivo e aos impactos da atuação da unidade que dão cumprimento às suas responsabilidades institucionais; e, os de comparabilidade têm como objetivo o registro de mudanças ocorridas durante certo tempo (Brasil, 2014).

Assim sendo, cada grupo de indicador estabelecido pelo TCU, possuem outros parâmetros que auxiliam em suas definições, conforme estão descritos abaixo na Tabela 1.

Tabela 1 – Descrição dos indicadores de eficiência, eficácia e efetividade

TIPO	INDICADOR	OBJETIVO
EFICIÊNCIA	Custo corrente / aluno equivalente (CCAE)	Representa a despesa corrente por aluno e seu valor sobre os gastos na instituição. Em princípio, um menor custo por aluno deve traduzir-se em eficiência nos gastos públicos.
	Aluno tempo integral / professor equivalente (ATIPE)	Entende-se que quanto maior o número de professores relativamente ao de alunos, melhor será a atenção e apoio a estes, favorecendo uma produtividade maior de recursos docentes da instituição.
	Aluno tempo integral / funcionário equivalente (ATIFE)	Entende-se que quanto maior o número de funcionários relativamente ao de alunos, melhor será a atenção e o suporte dados a estes, favorecendo maior produtividade da instituição.
	Funcionário equivalente / professor equivalente (FEPE)	Representa o tamanho do corpo de apoio indireto ao aluno e ao professor, e o tamanho do corpo de apoio e atendimento direto ao aluno, tendo relação direta com a formação deste.
EFICÁCIA	Conceito CAPES (CCAPES)	É um indicador de avaliação da qualidade dos cursos de pós-graduação. Um melhor conceito para a pós-graduação pode ter relação positiva com o desempenho dos graduandos, considerando que uma pós-graduação melhor deve indicar também um ensino de graduação de qualidade superior.
	Índice de qualificação do corpo docente (IQCD)	Representa a qualificação do corpo docente em relação à sua titulação, ou seja, quanto melhor a qualificação, melhor preparados e mais envolvidos com as atividades de pesquisa, extensão e ensino.
	Taxa de sucesso na graduação (TSG)	Representa o número de alunos que concluem o curso no tempo de duração prevista, refletindo diretamente na qualidade e nos investimentos em assistência, bolsas, moradia, restaurantes, por parte da instituição.
EFETIVIDADE	Grau de participação estudantil (GPE)	Tem por objetivo revelar em que grau os alunos se utilizam da capacidade instalada na IES e a velocidade de integralização curricular, sugerindo que quanto mais alunos em tempo integral, melhor será para a sua formação e, possivelmente, melhor será o seu desempenho futuro.
EFETIVIDADE	Grau de envolvimento com a pós-graduação (GEPG)	Tem por objetivo retratar o grau de envolvimento em atividades de pesquisa e pós-graduação, onde o maior envolvimento discente favorece o seu desempenho, e mais investimentos em novos laboratórios, bibliotecas, grupos e projetos de pesquisa, bolsas, entre outros.

Fonte: Elaborado pelos autores (2015).

Nesse sentido, observa-se um esforço contínuo por parte de acadêmicos em validar as estatísticas sobre o desempenho das IFES, com a finalidade de ajustar métodos, modelos, indicadores de desempenho, bem como comprovar se os benefícios proporcionados pelas IFES atendem à sociedade de maneira adequada (Tachizawa & Andrade, 2006; Kobs & Reis, 2008; Lugoboni, 2010; Galvão, Corrêa & Alves, 2011). Diante do exposto, o presente trabalho propõe elucidar as seguintes hipóteses:

H1) A eficiência orçamentária das IFES depende da relação entre resultados obtidos e recursos empregados (indicadores de eficiência);

H2) A eficiência orçamentária das IFES depende da comparação de metas cumpridas com metas planejadas (indicadores de eficácia)

H3) A eficiência orçamentária das IFES depende do resultado efetivo e dos impactos da atuação da unidade que dão cumprimento às suas responsabilidades institucionais (indicadores de efetividade);

H4) As IFES apresentam uma homogeneidade nos seus indicadores de eficiência, eficácia e efetividade.

3. METODOLOGIA

A presente pesquisa utilizou-se de uma abordagem de natureza quantitativa, utilizando-se técnicas estatísticas multivariadas, a fim de evitar distorções na análise e interpretação dos resultados (Richardson, 1999), bem como, no sentido de observar, registrar, analisar e correlacionar fatos ou fenômenos sem manipulá-los (Cervo, Bervan & Silva, 2007).

A presente investigação apoiou-se no paradigma entre gestão e desempenho e fez uso dos índices preconizados pelo Tribunal de Contas da União (TCU), assim como de uma variável indicativa da eficiência orçamentária, calculada por meio da relação entre o orçamento planejado versus o executado pelas Instituições Federais de Ensino Superior.

Foram utilizados nove indicadores de desempenho do TCU como variáveis, sendo estas: custo corrente/aluno (CCAE); aluno tempo integral/professor (ATIPE); aluno tempo integral/funcionário (ATIFE); funcionário equivalente/professor (FEPE); conceito CAPES (CCAPES); índice de qualificação do corpo docente (IQCD); taxa de sucesso na graduação (TSG); grau de participação estudantil (GPE) e nível de envolvimento com a pós-graduação (GEPG). Ressalta-se que a escolha dessas variáveis deu-se em função da sua amplitude em relação as avaliações de desempenho e gestão na qual estão envolvidas relações entre o corpo discente, docente e técnico das instituições, como também, relações diretas e indiretas de investimentos em ações voltadas para o custeio do ensino e qualificação.

Introduziu-se, também, uma nova variável com o intuito de medir a eficiência da orçamentária da instituição, definida pela relação entre o orçamento planejado, resultante de uma dotação inicial e o efetivamente executado ao final do exercício. Nessa perspectiva, é importante destacar o Decreto nº 7.233 de 19 de julho de 2010, que dispõe sobre os procedimentos orçamentais, administrativos e financeiros relacionados à autonomia universitária, fazendo ainda, referência ao art. 207, da Constituição Federal.

De acordo com o Art. 4 do mesmo decreto, para a elaboração dessas propostas anuais das IFES, o Ministério da Educação levará em consideração a chamada matriz de distribuição para a alocação de recursos destinados a despesas classificadas como outras despesas correntes e de capital, na qual a elaboração dessa matriz deverá seguir parâmetros previamente estabelecidos (BRASIL, 2014). O indicador eficiência orçamental (EFICOR) foi usado como variável dependente, sendo ele obtido pela divisão entre o volume de recursos efetivamente aplicado e aquele planejado.

A escolha das IFES deu-se pelo critério de acessibilidade aos dados pesquisados referentes ao exercício de 2013, estabelecidos pelo Tribunal de Contas da União, em sua decisão nº 408/2002, extraídos dos relatórios de gestão e dos valores orçamentários (dotação inicial e orçamento executado). Assim, do universo de 62 Instituições Federais de Ensino Superior do Brasil, de acordo com Censo da Educação Superior - 2013, estabeleceu-se uma amostra não probabilística de 42delas no ano de 2013, representando 72% das instituições do Nordeste, 33% do Centro-Oeste, 44% do Norte, 74% do Sudeste, e 82% do Sul.

As instituições pesquisadas foram: Universidade Federal de Alagoas, Universidade Federal da Bahia, Universidade Federal do Ceará, Universidade Federal do Maranhão, Universidade Federal da Paraíba, Universidade Federal de Pernambuco, Universidade Federal do Piauí, Universidade Federal do Rio Grande do Norte, Universidade Federal de Sergipe, Universidade Federal Rural de Pernambuco, Universidade Federal do Recôncavo Baiano, Universidade Federal Rural do Semiárido, Universidade Federal Vale do São Francisco, Universidade de Brasília, Universidade Federal do Mato Grosso do Sul, Universidade Federal de Rondônia, Universidade Federal do Amapá, Universidade Federal do Pará, Universidade Federal do Tocantins, Universidade Federal de Alfenas, Universidade Federal de Itajubá, Universidade Federal de Lavras, Universidade Federal de Minas Gerais, Universidade Federal de São João Del Rei, Universidade Federal do Estado de São Paulo, Universidade Federal de Uberlândia, Universidade Federal de Viçosa, Universidade Federal do ABC, Universidade Federal do Espírito Santo, Universidade Federal do Estado do Rio de Janeiro, Universidade Federal do Triângulo Mineiro, Universidade Federal Fluminense, Universidade Federal Rural do Rio de Janeiro, Universidade Federal de Fronteira do Sul, Universidade Federal da Integração Latino-Americana, Universidade Federal de Ciências da Saúde de Porto Alegre, Universidade Federal do Pampa, Universidade Federal do Paraná, Universidade Federal do Rio Grande, Universidade Federal do Rio Grande do Sul, Universidade Tecnológica Federal do Paraná.

Como mencionado acima, utilizou-se uma amostra de 42 instituições federais de ensino superior, correspondente a quase 68% do universo de Instituições Federais de Ensino Superior do Brasil.

Os testes iniciais indicaram que os dados perdidos podem ser considerados Missing Completely at Random, justificando sua exclusão na forma pairwise do SPSS versão 22.0. Gráficos de boxplot não indicaram existência de outliers, o que garantiu uma faixa semelhante de variação para cada variável.

Aplicou-se regressão linear múltipla para quantificar o grau de eventual dependência entre o indicador da execução orçamentária considerada variável dependente denominada EFICOR com as relacionadas ao desempenho das instituições de ensino superior, definidas como independentes (H1, H2 e H3). Em um segundo momento, realizou-se cluster analysis, com o objetivo de agrupar as IES a partir do conjunto completo de variáveis, a fim de compreender a sua composição por intermédio destes agrupamentos (H4).

4. RESULTADOS

Inicialmente tem-se a média dos resultados dos indicadores pesquisados, refletindo o desempenho médio das IFES no referido exercício (Tabela 2).

Tabela 2 – Média dos resultados dos indicadores no ano 2013

CCAE	ATIPE	ATIFE	FEPE	GPE	GEPG	CCAPES	IQCD	TSG	EFICOR
R$ 19.150,01	11,48	6,59	1,97	0,71	0,12	3,74	4,20	0,47	1,13

Fonte: Elaborado pelos autores (2015).

Destaca-se que as Instituições Federais aplicaram, em média, 113% (EFICOR) do orçamento proposto no início do ano, caracterizando algum excesso sobre o inicialmente planejado, na qual o resultado pode indicar que o planejamento não atendeu de fato as necessidades e demandas surgidas ao longo do ano, sugerindo por sua vez, que o planejamento realizado subestimou a previsão. Em relação ao custo corrente por aluno equivalente (CCAE) que representa toda a despesa corrente para manutenção e funcionamento por aluno, teve valor médio de R$ 19.150,01, em uma faixa de 9 a 44 mil reais.

Os indicadores conceito CAPES com 3,74 e o IQCD com 4,20, estão contidos em um intervalo de 1 a 5, revelando resultados médios mais à direita da faixa, enquanto TSG (0,47) revela o “represamento” de alunos, indicando que apenas 47% deles concluiu o curso no período estabelecido; os restantes 53% provavelmente foram responsáveis por custos adicionais.

Em relação aos índices ATIPE, ATIFE e FEPE que mensuram a relação entre alunos, professores e técnicos administrativos não há parâmetros de comparação como os indicadores CAPES e IQCD. No entanto, entende-se que esse “valor” aferido não pode ser elevado, tendo em vista que os resultados mostram por exemplo 11,48 alunos para cada professor, 6,59 alunos para cada técnico, ou 1,97 técnico para cada professor, onde valores muito elevados podem demonstrar uma deficiência no serviço prestado.

As medidas GPE e GEPG associdadas, por exemplo, ao TSG demonstram o grau de envolvido dos alunos com as atividades do ensino de graduação e pós-graduação que resultam também em índices baixos de formação, no caso especifico do GPE.

4.1. Relação entre variáveis

Definiu-se EFICOR como variável dependente e todas as demais como independentes e procurou-se determinar um modelo linear representativo do seu comportamento. Como forma de resolver a questão da multicolinearidade, aplicou-se o procedimento stepwise, que consiste na inclusão de variáveis preditoras uma a uma, selecionando aquelas que trazem maiores contribuições para explicar a variável dependente, eventualmente descartando as que foram escolhidas em etapas anteriores.

A tabela 3 resume o modelo após a aplicação da regressão.

Tabela 3 – Resumo do modelo proposto

Modelo	R	R quadrado	R quadrado ajustado	Erro padrão da estimativa
1	,621^a	,386	,371	,071587509804360
	,667^b	,444	,416	,068955250418400
a. Preditores: (Constante), CCAPES.
b. Preditores: (Constante), CCAPES, IQCD.

Fonte: Elaborado pelos autores, utilizando SPSS v.22 (2015).

A tabela 3 revelou a proposição de dois modelos que atendem aos critérios do método stepwise: o primeiro, considerando apenas uma variável independente (CCAPES), e o segundo, incluindo outra (IQCD). Como o segundo demonstrou maior grau de explicação e menor erro padrão da estimativa, foi o escolhido para representar a relação entre os indicadores de eficiência operacional e a gestão dos recursos financeiros.

A partir do coeficiente F-Snedecor, mostrado no quadro seguinte, o teste ANOVA do modelo selecionado indicou significância da regressão, sinalizando que a relação da variável dependente com as duas independentes não se deu por acaso.

Tabela 4 – Teste ANOVA

Modelo		Soma dos Quadrados	df	Quadrado Médio	F	Sig.
2	Regressão	,148	2	,074	15,600	,000^c
	Resíduos	,185	39	,005
	Total	,334	41
a. Variável dependente: EFICOR.
b. Preditores: (Constante), CCAPES.
c. Preditores: (Constante), CCAPES, IQCD.

Fonte: Elaborado pelos autores, utilizando SPSS v.22 (2015).

A tabela 5 apresentou a equação de regressão resultante, com a respectiva significância dos coeficientes.

Tabela 5 – Resultados da regressão stepwise – coeficientes

Modelo		Coeficientes não padronizados		Coeficientes padronizados	t	Sig.	Estatística de colinearidade
Modelo		B	Modelo padrão	Beta	t	Sig.	Tolerância	VIF
2	(Constante)	1,112	,126		8,809	,000
	CCAPES	,078	,014	,709	5,584	,000	0,261	3.834
	IQCD	-,064	,032	-,257	-2,028	,049	0,626	1.598
a. Variável dependente: EFICOR.

Fonte: Elaborado pelos autores, utilizando SPSS v.22 (2015).

Também ficou comprovada a significância dos coeficientes individuais de regressão, todas abaixo de 0,05. Além disto, a variável preditora CCAPES, com maior beta, foi a que mais contribuiu para explicar a variável dependente. Tem-se então que a equação de retorno completa referente ao modelo adotado ficou:

EFICOR = 1,112 + 0,078 (CCAPES) – 0,064 (IQCD) (eq. 1)

Logo, para cada unidade de aumento no valor de CCAPES, EFICOR sofrerá, em média, acréscimo de 0,078, enquanto um aumento correspondente em IQCD gerará redução de 0,064. Em suma, as variáveis CCAPES e IQCD mostraram uma capacidade de explicação (R2=0,44) da variável dependente EFICOR, na qual a melhoria dos programas de pós-graduação tende a aumentar o volume de investimentos em relação ao planejado, enquanto a qualificação do corpo docente acarreta movimento contrário quase de mesma magnitude.

Dessa forma, as hipóteses 1 e 3 foram refutadas, visto que, dos dois indicadores de eficácia, foram tidos como os maiores responsáveis pela previsão através do uso do modelo proposto no trabalho, confirmando a hipótese 2. Avigora-se com isso que, o resultado ou mesmo à comparação de metas cumpridas com metas planejadas das IFES do estudo enseja na explicação dos seus recursos efetivamente aplicado e aquele planejado.

Os coeficientes acima mostram que melhores avaliações de CCAPES acarretam excesso de gastos em relação ao planejado, enquanto maiores índices de qualificação docente (IQCD) levam a menores aplicações sobre o inicialmente planejado.

Nesse sentido, verificou-se primeiramente uma relação positiva entre o indicador CCAPES, que se refere ao conceito atribuído aos cursos de pós-graduação stricto senso das Instituições de Ensino Superior, com a variável EFICOR. A partir de uma visão exploratória, supõe-se que um fator responsável pela relação seja a necessidade de aperfeiçoamento dos programas de pós-graduação, cuja gestão precisa de constantes mudanças de rumo, o que geraria a conveniência de investimentos imprevistos por parte das IFES. Por outro lado, esses investimentos iniciais também podem ser considerados como fontes de arrecadação por meio de órgãos de fomento como FINEP, CNPQ e outros que auxiliam investimentos em laboratórios e pesquisa que são “atribuições diretas” dos programas de pós-graduação.

O fato de maiores aumentos no IQCD resultarem em menores aplicações sobre o planejado é intrigante e não enseja alguma explicação razoável, por isso, faz-se necessário um aprofundamento sobre a questão. Sobre esse aspecto, é importante primeiro ressaltar que as IFES não “gerenciam” sua folha de pagamento, ou seja, são recursos fixos sem qualquer possibilidade de gerencia ou mesmo ingerência por parte dos gestores. Também nesse caso, destaca-se que a política de incentivos a qualificação por parte das Instituições Federais ao “liberar” ou “fomentar” que seus docentes façam mestrados e principalmente doutorados ou mesmo pós-doutorados, gera um aumento de despesas para contratação de professores temporários ou substitutos. Assim, se não houver um bom planejamento, poderá haver um “descontrole” por parte dos recursos planejados e executados.

4.2. A análise de Cluster

Para conhecer agrupamentos específicos e multivariados das IFES, padronizaram-se as variáveis independentes mediante o cálculo de z-scores, e obteve-se, inicialmente, agrupamentos do tipo hierárquico, baseados na medida da distância euclidiana. A figura 1 apresenta a organização hierárquica dos clusters.

Após o agrupamento por hierarquia, foi realizado procedimento k-means, onde o número de clusters é pré-definido e faz-se uso de um procedimento de aglomeração. Para este caso, o procedimento hierárquico recomendou três agrupamentos e utilizou-se do critério denominado vizinho mais longe, que agrupa objetos similares em cada cluster, ao mesmo tempo em que reforça a dissimilaridade entre eles.

A tabela 6 apresentou o perfil ou centros de cluster baseados nas variáveis do estudo.

Tabela 6 – Centros de cluster finais

Variáveis	Cluster
Variáveis	1	2	3
CCAE	18340,25	34800,37	13715,20
ATIPE	12,64	7,41	11,42
ATIFE	6,56	2,78	8,27
FEPE	2,10	2,47	1,54
GPE	,71	,62	,75
GEPG	,1250	,0901	,1221
CCAPES	4,04	3,03	3,57
IQCD	4,21	4,37	4,12
TSG	,52	,27	,50

Fonte: Elaborado pelos autores, utilizando SPSS v.22 (2015).

A tabela 6 demonstrou a formação de três clusters: no primeiro, fazem parte vinte e duas IFES: UnB, UFAL, FURG, UFBA, UFF, UFABC, UFES, UFPB, UFU, UFMS, UFLA, UFSC, UNIRIO, UFPI, UFMA, UFC, UFRN, UFRB, UFPR, UNIFESP e UFTM; dessas, oito são da região Nordeste, duas da região Centro-Oeste, três da região Sul, e oito da região Sudeste. No segundo, apenas seis: UFPE, UFRGS, UFFS, UNIPAMPA e UTFPR, sendo uma é da região Nordeste, e cinco são da região Sul. Enquanto no terceiro, possui quatorze IFES: UFRPE, UNIFAL, UFT, UFS, UFERSA, UFRRJ, UNIFAP, UFSJ, UNIFEI, UNIR, UFCSPA, UNIVASF, UFMG e UFV; dessas, quatro são da região Nordeste, três da região Norte, uma da região Sul, e seis da região Sudeste.

Primeiro ao analisar a variável CCAE, verificou-se que o cluster 3 tem o menor valor, e, portanto, maior eficiência nos gastos com alunos, visto que o indicador representa os custos e as despesas correntes da instituição com seus discentes. Das IFES classificadas no grupo 3, seis são da região Sudeste e quatro da região Nordeste.

Em relação à variável ATIPE, constatou-se que das seis IFES do cluster 2, cinco são da região Sul, destacando-se na melhor relação entre professores por aluno. O mesmo comportamento foi observado em relação ao indicador ATIFE, indicando melhor relação de funcionários para alunos no segundo grupo. É importante destacar que essa relação aluno professor equivalente está diretamente associada aos serviços prestados e oferecidos no âmbito acadêmico, pois de maneira simplificada, afere na quantidade de docentes disponíveis para atender as demandas do corpo discente, nos quais possuem reflexos diretos na qualidade das atividades de ensino, pesquisa e extensão.

Quanto ao grau de participação estudantil (GPE), as IFES do cluster 3 apresentaram melhores desempenhos, indicando maior envolvimento dos discentes dos cursos de graduação. Por sua vez, as IFES do cluster 1, apresentaram melhores performances no GEPG, ou seja, maior envolvimento dos alunos em atividades de pesquisa e pós-graduação. Portanto, presume-se que quanto maior forem os efeitos desses indicadores, melhor será sua "dedicação" às atividades acadêmicas, e consequentemente, melhores serão seus resultados quanto ao tempo de formação e no desenvolvimento das atividades acadêmicas.

Ao analisar o desempenho do CCAPES, constatou-se que o cluster 1 possuiu o melhor resultado, na qual oito unidades pertencem à região Nordeste e oito são da região Sudeste. Já em relação à qualificação do corpo docente (IQCD), as IFES do cluster 2 destacaram-se, apresentando melhor resultado. Diante disso, constata-se que as IFES da região Nordeste, a priori, realizaram maiores investimentos na qualificação docente, talvez com o objetivo de buscar um patamar de excelência e reconhecimento já conseguidos pelas IES de outras regiões, ou ainda, por apresentaram uma defasagem muito grande em relação a formação do corpo docente.

Em relação à taxa de sucesso na graduação (TSG), as IFES do cluster 1 tiveram melhores comportamentos, demonstrando que o planejamento das ações direcionadas a formação do corpo discente realmente se efetivou. Ressalta-se também a importância de instrumentos de monitoramento e controle auxiliando o processo de tomada de decisão, tanto sob o ponto de vista do planejamento, quanto para a tomada de ações corretivas.

Em geral, ao analisar os resultados dos nove parâmetros estudados e ao associá-los à classificação das Instituições Federais de Ensino Superior por cluster, foi possível evidenciar que as IFES do cluster 1 apresentaram melhor desempenho nos indicadores GEPG, CCAPES e TSG, na qual se observa que dois dos três índices estão relacionados ao ensino de pós-graduação, sugerindo um direcionamento das decisões e ações voltadas para os programas de especialização.

As IFES do cluster 2 destacaram-se nos indicadores ATIPE, ATIFE e IQCD, evidenciando bases que medem as relações aluno/professor e aluno/funcionário que refletem diretamente na qualidade e celeridade com que os serviços são oferecidos e prestados a comunidade acadêmica. Em relação ao IQCD, é relevante mencionar que também guarda uma relação estreita com a qualidade dos serviços prestados, apresentando-se, portanto, como variável importante nas relações aluno/professor.

Enquanto isso, as IFES do cluster 3 foram relevantes nos indicadores CCAE, FEPE e GPE. Nota-se a priori, que esses não guardam relações diretas, entretanto, destaca-se o custo corrente por aluno equivalente indica que houve por parte das instituições um bom gerenciamento dos custos e despesas atribuídos ao corpo discente, isto é, uma boa relação "custo benefício" em função dos investimentos realizados e dos resultados apresentados, e tendo como consequência melhoria no próprio GPE.

A análise de conglomerados mostrou que não existe unanimidade no desempenho dos vários grupos, já que as IFES do cluster 1 apresentaram melhor desempenho nos indicadores GEPG, CCAPES e TSG, as do cluster 2, nos parâmetros ATIPE, ATIFE e IQCD, enquanto as IFES do cluster 3, nos índices CCAE, FEPE e GPE, sinalizando desempenhos bastante heterogêneos das instituições. Refutando, assim, a hipótese H4.

5 CONCLUSÃO

No estudo da relação entre eficiência orçamentária (EFICOR) com CCAPES e IQCD, apresentou um efeito contrário entre as duas variáveis de maior relevância para a avaliação das IFES, a saber: aperfeiçoamento da pós-graduação e qualificação dos docentes.

O fato desses indicadores terem se anulado na medida em que se procurou prever a EFICOR, foi sinalizado um comportamento assistemático dos gestores no tocante à obediência ao orçamento planejado. Isso significa que ao conhecer o comportamento das variáveis é possível aprimorar e avaliar o impacto dos investimentos realizados para cada indicador, bem como se a aplicação desses realmente atingiu os resultados esperados. Na prática, a melhor compreensão do comportamento dos indicadores, possibilita uma redefinição ou reorientação estratégica das IFES ao passo em que vão se conhecendo as deficiências. Convém lembrar que essas variáveis são exigidas compulsoriamente pelo TCU nas prestações de contas dos exercícios financeiros, compondo o grupo deíndices de eficácia.

Outro ponto importante para ser refletido refere-se aos mecanismos utilizados para avaliação das ações, isto é, se estão sendo realmente eficientes ou mesmo eficazes considerando os resultados alcançados. Por fim, os resultados observados provocam uma reflexão sobre a importância de cada variável para as IFES, visto que foi identificada uma relação entre os resultados e o investimento realizado em cada instituição.

Os resultados encontrados mediante a aplicação dos dados e sua análise contribuem significativamente no provimento de elementos que permitem aos órgãos reguladores o diagnóstico eficaz de possíveis deficiências na gestão pública, assim como permitir a prospecção de estratégias de longo prazo para a correção de possíveis falhas nos processos de avaliação de desempenho e execução do orçamento.

Portanto, ainda são sugeridas para próximas pesquisas, a realização de novos estudos com períodos longitudinais maiores, bem como um maior número de IFES que possibilitem uma análise de maior abrangência e a fundamentação de novas contribuições para a gestão pública brasileira.

REFERÊNCIAS

Araújo, S. & Castro, A. M. D. (2011). Gestão educativa gerencial: superação do modelo burocrático? Ensaio: aval. pol. públ. Educ. 19 (70), 81-106.

Azma, F. (2010). Qualitative indicators for the evaluation of universities performance. Procedia Social and Behavioral Sciences, 2, 5408-5411.

Barnetson, B. & Cutright, M. (2000). Performance indicators as conceptual technologies. Higher Education, 40, 277-292.

Bartsch, A. (2011). Avaliação de desempenho nas Instituições de Ensino Superior privadas. Observatório Universitário.

Bertolin, J. C. G. (2007). Avaliação da qualidade do sistema de educação superior brasileiro em tempos de mercantilização – Período 1994-2003. Tese (Doutorado em Educação) - Programa de Pós-Graduação em Educação da Universidade Federal do Rio Grande do Sul.

Biggeri , L. & BINI, M. Evaluation at university and state level in Italy: need for a system of evaluation and indicators. Tertiary education and management, Países Baixos, 7, 149-162.

Brasil. (2009). Guia referencial para medição de desempenho e manual para construção de indicadores da Secretaria de Gestão do Ministério do Planejamento, Orçamento e Gestão – GRMDMCI/MPOG. 1, Brasília.

_______. (2002). Tribunal de Contas da União - TCU. Decisão 408 - Plenário. Relatório Consolidado de Auditoria Operacional. Brasília, DF. Disponível em: <https://contas.tcu.gov.br/portaltextual/PesquisaFormulario>. Acesso em: 2 dez. 2014.

______. (2002). Tribunal de Contas da União - TCU; Secretaria de Educação Superior – SESu/MEC; Secretaria Federal de Controle Interno – SFC. Orientações para o cálculo dos indicadores de gestão: decisão TCU nº 408 - plenário. Versão revisada em janeiro de 2010.

______. (2004). Lei n° 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências. Leis, Brasília, DF. Disponível em: <http://portal.mec.gov.br/arquivos/pdf/10861.pdf>. Acesso em: 2 dez. 2014.

______. (1996). Ministério da Educação e do Desporto. Uma nova política para o ensino superior brasileiro: subsídios para discussão. Brasília: MEC.

______. (2014). Ministério da Educação e do Desporto. Relatório de gestão exercício ano 2013. Brasília: MEC.

______. (2010). Decreto 7.233. Dispõe sobre procedimentos orçamentários e financeiros relacionados à autonomia universitária e dá outras providências. Disponível em: <http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2010/Decreto/D7233.htm. Acesso em: 10 dez. 2014.

Castro, M. H. G. de. (1997). Palestra inaugural. In: Seminário Internacional de Avaliação Educacional. Anais. Rio de Janeiro, 9-11.

Catani, A. M.; Hey, A. P. & Gilioli, R. S. P. (2006). PROUNI: democratização do acesso às Instituições de Ensino Superior? Educar. Curitiba: Editora UFPR, 28, 125-140.

Catani, A. M & Oliveira, J. F. (2007). A educação superior. In: OLIVEIRA, R. P; Adrião, T. (Org.). Organização do ensino no Brasil: níveis e modalidades na Constituição Federal e na LDB. 2, São Paulo: Xamã, 73-84.

Cervo, A. L. & Bervian, P. A.; Silva, R. da. (2007). Metodologia científica. 6, São Paulo: Pearson Prentice Hall.

Corrar, L.; J, Paulo, E. & Dias Filho, J M. (2007). Análise multivariada. São Paulo: Atlas.

Cunha, L.A. (2007). O desenvolvimento meandroso da educação brasileira entre o Estado e o mercado. Educação & Sociedade, Campinas, 28, 809-829.

Dias Sobrinho, J. (2002). Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular.

Dourado, L. F.; Catani, A. M. & Oliveira, J. F. (2003). (eds.). Políticas e gestão da educação superior. Transformações recentes e debates atuais. São Paulo: Xamã; Goiânia: Alternativa, 117-135.

______. (2002). Reforma do Estado e políticas para a educação superior no Brasil nos anos 90. In: Educação & Sociedade. Campinas, SP. 23 (80), 235-253.

Dundar, H. & Lewis, D. (1999). Equity, quality and efficiency effects of reform in Turkish. Higher Education Policy, Paris, 12, 343-366.

Fávero, M. de L. de A. (2006). A Universidade no Brasil: das origens à reforma universitária de 1968. Curitiba: Educar, 28, 17-36.

Fontenele, R. E. S. & Moura, H. J. (2011). Capital humano, empreendedorismo e desenvolvimento: evidências empíricas nos municípios do Ceará. RAM – Rev. Adm. MACKENZIE, 12 (5), 182-208.

Galvão, H., Corrêa, H. & Alves, J. (2011). Modelo de Avaliação de Desempenho Global para Instituição de Ensino Superior. Rev. Adm. UFSM, Santa Maria, 4 (3), 425-441.

Hair, J. et al. (2009). Análise multivariada de dados. 6, Porto Alegre: Bookman.

Klann, R. et al. (2012). Avaliação de desempenho das Instituições de Ensino Superior pertencentes à Associação Catarinense das Fundações Educacionais (ACAFE). Contabilidade, gestão e governança – Brasília, 15 (3), 71-87.

Kobs, F. & Reis, D.(2008). Gestão nas Instituições de Ensino Superior privado. Revista Científica de Administração, 10 (10).

Lindsey, D. (1991). The relationship between performance indicators for academic research and funding: developing a measure or return on investment in science. Scientometrics, 221-234.

Löfstrom, E. (2002). In search of methods to meet accountability and transparency demands in higher education: experience from benchmarking. Socrates intensive programme comparative education policy analysis lake Bohinj, Slovenia, 21-30.

Lugoboni, L. F. (2010). Modelos de avaliação de desempenho organizacional em instituições de ensino superior na grande São Paulo. Dissertação (Mestrado) - São Caetano do Sul, 127 p.

Lunkes, R. J. et al. (2013). Estudo sobre a implantação do orçamento baseado em desempenho na autoridade portuária de valência. Rev. Adm. Pública, Rio de Janeiro 47 (1), 49-76.

Macedo, S.; Verdinelli, M. & Stucker, H. (2003). Modelo estatístico de análise na avaliação institucional: apresentando um recorte de desempenho docente. In: III Colóquio Internacional sobre Gestión Universitaria em America del Sur. Buenos Aires. Disponível em:<https://repositorio.ufsc.br/bitstream/handle/123456789/116284/ Granzotto.pdf?sequence=1&isAllowed=y>. Acesso em: 10 dez. 2014

Maingot, M., Zeghal, D. (2008). An analysis of voluntary disclosure of performance indicators by Canadian universities. Tertiary education and management,269-283.

Muriel, R. (2006). Plano de Desenvolvimento Institucional-PDI: análise do processo de implantação. Espírito Santo: Hoper.

Navarra. (2004). Sistema de indicadores de la educación de Navarra - 2003. Navarra/Espanha: Gobierno de Navarra.

Oliveira, A. P. de. (2007). A relação público-privado no contexto da educação superior. Tese (Doutorado) - Universidade Federal de Pernambuco, Recife.

Polidori, M. M. (2009). Políticas de avaliação da educação superior brasileira: provão, SINAES, IDD, CPC, IGC e outros índices. Avaliação. Campinas; Sorocaba, SP. 14 (2), 267-290.

Reis, C. Z. T. (2011). Estágios da institucionalização do modelo de alocação de recursos orçamentários das universidades federais brasileiras. Dissertação (Mestrado em Administração) - Programa de Pós-graduação em Administração – PPGAD, Universidade Federal de Viçosa, MG, Brasil.

Ristoff, D. I. (2002). Apresentação. In: Dias Sobrinho, José. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular.

Santos, C. de S., Castaneda, M. V. N. G., Barbosa, J. D. (2011). Indicadores de desempenho das IFES da região nordeste: uma análise comparativa. In: XI Colóquio Internacional sobre Gestão Universitária na América do Sul. II Congresso Internacional IGLU. Florianópolis.

Scharmach, A. L. R. (2009). Gestão estratégica em instituições de ensino superior: as possibilidades do Balanced Scorecard na Universidade do Contestado. 2009. Dissertação (Mestrado em Administração) – Programa de Pós-Graduação em Administração (PPGAD), Universidade Regional de Blumenau, Blumenau. Disponível em: <http://proxy.furb.br/tede/tde_busca/arquivo.php?codArquivo=687>. Acesso em: 24 maio 2014.

Sguissardi, V.; Silva J.(2001). Novas faces da educação superior no Brasil – reforma do Estado e mudanças na produção. São Paulo: Cortez/EDUSF.

Steiner, J. (2005). Qualidade e diversidade institucional na pós-graduação brasileira. Estud. avançados. 19 (54).

Tachizawa, T.; Andrade, R. O. B. (2006). Gestão de instituições de ensino. 4. ed. rev. ampl. Rio de Janeiro: FGV.

Venturini, J. C. et al. (2010). Percepção da avaliação: um retrato da gestão pública em uma instituição de ensino superior (IES). RAP - Revista de Administração Pública, Rio de Janeiro, 44 (1), 31-53.

Vidovich, L. & Slee, R. (2001). Bringing universities to account? Exploring some global and local policy tensions. Journal of education policy, 16 (5), 431-432.

Vieira, E. F.; Vieira, M. M. F. (2003). Estrutura organizacional e gestão do desempenho nas universidades federais brasileiras. RAP - Revista de Administração Pública, Rio de Janeiro, 37 (4), 899-920.

______. (2004) Funcionalidade burocrática nas universidades federais: Conflito em Tempos de Mudança. Revista de Administração Contemporânea, 8 (2).

Ville, S.; Valadkhani, A. (2009). Ranking and clustering of the faculties of commerce research performance in Australia. Research online.

Waheed, B. et al. (2011). Developing a quantitative tool for sustainability assessment of HEIs. International Journal of Sustainability in Higher Education, 355-368.

World Bank. (1994). Higher education: the lessons of experience. New York: Oxford University Press.

Yáber, G., Valarino, E. (2002). Indicadores de desempeño clave para unidades académicas universitarias. Revista Venezolana de Gerencia (RVG), 639-653.

Yonezawa, A. (2008). Quality assessment and assurance in japanese universities: the plight of the social sciences. Social Science Japan Journal, Tóquio, 11 (1), 69–82.

Zandavalli, C. B. (2009). Avaliação da educação superior no Brasil: os antecedentes históricos do SINAES. Avaliação, Campinas; Sorocaba, 14 (2), 267-290.