Artigos

Análise de variáveis para mensuração da eficiência do gasto público por função de governo

Analysis of variables to measure the efficiency of public spending by government function

Análisis de variables para medir la eficiencia del gasto público por función de gobierno

Leonardo Ribeiro Siqueira
Universidade de Brasília, Brasil
Rafael Araújo Sousa Farias
Universidade de Brasília, Brasil
Paulo Henrique de Souza Bermejo
Universidade de Br, Brasil
Weslei Gomes de Sousa
Universidade de Brasíl, Brasil

Análise de variáveis para mensuração da eficiência do gasto público por função de governo

Administração Pública e Gestão Social, vol. 12, núm. 1, 2020

Universidade Federal de Viçosa

Recepción: 26 Noviembre 2017

Aprobación: 04 Octubre 2018

Publicación: 01 Enero 2020

Resumo: O Fundo de Participação dos Municípios (FPM) é uma transferência incondicional e redistributiva recebida pelos municípios e oriunda da União. Seus critérios de rateio de recursos apresentam inconsistências que geram uma distribuição pouco equânime dos recursos do fundo. Usando o instrumental matemático dos conjuntos fuzzy, este artigo verificou a relação entre a distribuição do FPM e o nível de necessidade fiscal dos municípios de Minas Gerais entre 2000 e 2010. Constatou-se que a maior parte dos municípios recebe recursos aquém do necessário, que este problema tende a ser maior nas cidades mais populosas e que a distorção se intensificou ao longo do tempo. Os resultados corroboram outras evidências em torno da divisão distorcida do FPM e reforçam a necessidade de revisão de seus critérios.

Palavras-chave: federalismo fiscal, transferências intergovernamentais, FPM, Minas Gerais, fuzzy.

Abstract: The Municipalities Participation Fund is an unconditional and redistributive transfer received by the municipalitiesfrom the Brazilian federal government. Its resource allocation criteria presents inconsistencies that generate an uneven distribution of fund resources. Using the fuzzy sets mathematical instrument, this paper found a relation between the distribution of the Fund and the level of fiscal demand of the municipalities of the Brazilian state of Minas Gerais between 2000 and 2010. It was verified that most of the municipalities receive less resources than the necessary, that this problem tends to be larger in the most populous cities and that the distortion in the division of the Fund has been intensified over time. The results corroborate other evidence surrounding the distorted division of the FPM and reinforce a need to revise its criteria.

Keywords: fiscal federalism, intergovernmental transfers, FPM, Minas Gerais, fuzzy.

Resumen: El Fondo de Participación Municipal es una transferencia incondicional y redistributiva recibida por los municipios, oriunda de la Unión. Sus criterios de prorrateo de recursos presentan inconsistencias que generan una distribución poco equitativa de los recursos del fondo. Con el instrumental matemático de los conjuntos fuzzy, este artículo verificó la relación entre la distribución del FPM y el nivel de necesidad fiscal de los municipios de Minas Gerais entre 2000 y 2010. Se constató que la mayor parte de los municipios reciben recursos por debajo de lo necesario, que este problema tiende a ser mayor en las ciudades más pobladas y que la distorsión se ha intensificado a lo largo del tiempo. Los resultados corroboran otras evidencias en torno a la división distorsionada del fondo y refuerzan la necesidad de revisar sus criterios.

Palabras clave: federalismo fiscal, transferencias intergubernamentales, FPM, Minas Gerais, fuzzy.

INTRODUÇÃO

A eficiência governamental consiste no fornecimento de bens e serviços públicos na forma e no volume demandados pelos cidadãos, com a utilização da menor quantidade possível de recursos estatais, considerando que estes são oriundos de tributação da população, em sua maioria. (Huther & Shah, 1999). Melhorias na gestão governamental, incluindo os aspectos de eficiência, aumentam os níveis de desenvolvimento econômico, de qualidade de vida e de distribuição de renda (Gupta, Davoodi, & Alonso-Terme, 1998).

Nas últimas décadas, governos de diversos países implementaram políticas para aumentar a eficiência dos gastos públicos (Boueri, Rocha & Rodopoulos, 2015). Nos Estados Unidos, por exemplo, foram promulgados o California Proposition 13 e o Colorado’s Tax Payer Bill Rights (Heylen, Hoebeeck & Buyse, 2013). A Austrália, no final da década 1980, conduziu uma grande reforma estatal com vistas a melhorar o setor público: O país segregou o planejamento da implementação das políticas públicas e incentivou a competição entre as agências estatais e a iniciativa privada (Gupta & Verhoeven, 2001). No Brasil, algumas iniciativas legislativas direcionaram os entes públicos a melhorar a eficiência do gasto, como a Emenda Constitucional nº 19/1998, que introduziu o princípio da eficiência do gasto público no ordenamento jurídico (Bresser-Pereira, 1999).

Observa-se que, nos últimos cinco anos, tem sido realizadas pesquisas em diferentes países com o objetivo de mensurar a eficiência de governos locais ou de setores públicos específicos (Asatryan & De Witte, 2015; Geys, Heinemann & Kalb, 2012; Hsu, 2014; Olanubi & Osode, 2016; Šťastná & Gregor, 2014). Algumas pesquisas sugerem que novos estudos devem avaliar a eficiência do gasto do governo em áreas específicas, como na área da saúde (Olanubi & Osode, 2016). Outros trabalhos são mais abrangentes ao afirmarem que há a necessidade de que novas pesquisas considerem uma gama mais ampla de indicadores referentes a todas as funções do governo (António Afonso, Schuknecht, & Tanzi, 2005; Diel, Diel, Schulz, Chiarello, & Rosa, 2014). O uso de medidas de eficiência global é mais apropriado para estudos acerca de instituições governamentais do que aquelas especificamente setoriais (Borge, Falck & Tovmo, 2008).

1.1 Problema de Pesquisa e Objetivo

Ao analisar a produção científica sobre o tema, verifica-se que os artigos identificados são, em sua maioria, empíricos, e buscam calcular a eficiência de entes públicos diversos (António Afonso et al., 2005; Drew, Dollery, & Kortt, 2016; Kalb, Geys & Heinemann, 2012; Olanubi & Osode, 2016). Para a mensuração da eficiência, uma etapa relevante se refere à seleção de variáveis (indicadores ou proxies) a serem utilizadas para compor o modelo, incluindo os inputs (variáveis de entrada) e os outputs (variáveis de saída). As variáveis selecionadas têm forte impacto no índice calculado e, consequentemente, no resultado da pesquisa, com influência sobre todo o objeto do estudo (Geys et al., 2012; Pan, Liu, Peng, & Wu, 2011).Assim, destaca-se a necessidade de trabalhos que apurem as variáveis usadas para a medição da eficiência do gasto público (Drew, Kortt & Dollery, 2015) . Assim, como os estudos sobre essa temática analisam diferentes funções governamentais, o presente estudo fundamenta-se na seguinte pergunta de pesquisa: Quais são as variáveis mais utilizadas para mensurar a eficiência do gasto público por função de governo? Para tal, é determinado o seguinte objetivo de pesquisa: Identificar as variáveis mais utilizadas para mensurar a eficiência do gasto público por função de governo.

Após a presente introdução, este artigo apresenta os fundamentos teóricos, com um panorama geral sobre a eficiência do gasto público e sua mensuração; detalha os aspectos metodológicos; apresenta os resultados encontrados, com uma análise sobre as variáveis e se encerra com as conclusões obtidas e as recomendações para pesquisas futuras.

FUNDAMENTOS TEÓRICOS

Esta seção aborda conceitos necessários para o entendimento do objetivo da pesquisa. Para isso, é apresentado um pequeno contexto acerca da atividade estatal, detalhando a evolução da participação estatal na atividade econômica, como o gasto público pode ser subdividido e o avanço da temática de eficiência. Em seguida são apresentados alguns fatores que impactam a eficiência, além das técnicas e precauções que devem ser tomadas para a mensuração da eficiência do gasto público.

O debate acerca de qual é o papel, o tamanho e a eficiência do Estado é recorrente na literatura (António Afonso et al., 2005). A atividade estatal pode ser vista a partir de três funções principais: Estabilizadora (medidas anticíclicas), distributiva (redistribuição de riqueza) e alocativa (correção de falhas de mercado) (Musgrave & Musgrave, 1989).

Entre as funções, a alocativa merece destaque. Por meio dela o governo oferta ao mercado bens e serviços não oferecidos de forma satisfatória ou que não possam ser disponibilizados mediante uma sistemática de mercado, como segurança pública e o sistema judiciário (Costa, Ferreira, Braga & Abrantes, 2015). Assim, o gasto governamental se faz necessário para lidar com a provisão de bens públicos, a criação de instituições de cunho social e a constituição de mecanismos de proteção dos direitos individuais e de propriedade (Antonio Afonso, Schuknecht & Tanzi, 2010).

O gasto público pode ser visto de duas maneiras: A primeira separa os gastos em despesa corrente (manutenção da máquina pública) e despesa de capital (aquisição ou produção de bens duráveis). Uma segunda forma de classificação é a funcional, a qual, no Brasil, é regulada pela Portaria nº 42, de 14 de abril de 1999, do Ministério de Estado do Orçamento e Gestão (MOG). Este normativo emprega uma classificação do gasto público em 28 funções e 109 subfunções, com vistas a identificar o direcionamento dado pelos gestores aos recursos públicos, além de facilitar sua análise, interpretação e controle (Rocha & Giuberti, 2007).

Quando a atividade estatal concentra as ações em atividades essencialmente públicas e aloca os recursos de forma adequada, é possível identificar benefícios para a população, como o crescimento na distribuição de renda e na qualidade da educação (António Afonso, Schuknecht & Tanzi, 2010). Entretanto, quando a máquina pública expande suas atividades para além das áreas justificáveis e a um custo excessivo, identificam-se problemas na alocação dos recursos públicos, com consequências negativas para a sociedade (Antonio Afonso et al., 2010).

Diante deste cenário, surgiu a abordagem teórica denominada New Public Management., que consiste em um conjunto de ideias que propõem a reinvenção da atividade estatal sob uma nova perspectiva, prima pela eficiência, ganhos de produtividade e pela melhoria do desempenho estatal (Asatryan & De Witte, 2015; Denhardt, 2015).

Eficiência pode ser definida como a capacidade de um determinado ente aumentar sua produção (outputs) a partir dos insumos disponíveis (inputs) (Rosano-Peña, Albuquerque & Cavalho, 2012). Ou seja, é a relação entre inputs e outputs de uma determinada unidade de análise (Hwang & Akdede, 2011).

A análise da eficiência do gasto público permite aferir a atuação da gestão pública (Rosano-Peña, Albuquerque & Daher, 2012). O Estado deve gerar benefícios à população de forma ótima e, assim, evitar desperdícios e excesso de tributação (Borge, 2000). O estudo de Tanzi & Schuknecht (2014) evidenciou que governos classificados como médios (relação entre gasto público e produto interno bruto próximo a 44%) geram uma melhor qualidade de vida para os cidadãos, quando comparados a governos pequenos (34%) e grandes (55%).

A Teoria da Escolha Pública elenca alguns comportamentos dos gestores públicos que pressionam o gasto governamental e, consequentemente, influenciam na eficiência dos entes públicos. Entre esses comportamentos, destacam-se: Efeito logrolling, o qual se refere à aprovação de uma proposta de governo em troca do aceite de outra proposta de outro grupo, de maneira a gerar benefício mútuo entre as partes e aumento global dos gastos públicos; a atuação de grupos de interesse, que buscam o aumento do gasto em prol de uma minoria organizada; e a atuação do funcionalismo no aumento de poder e benefícios financeiros (Butler, 2012).

A mesma linha teórica propõe que o cidadão, durante o processo eleitoral, acaba por induzir o comportamento dos agentes públicos, que, para serem eleitos e manterem-se no poder, direcionam suas ações para atender à maioria eleitoral (median voters). Este comportamento acaba gerando um gasto público que atende apenas a uma parcela da sociedade e por vezes podem ser considerados ineficientes (Buchanan & Tullock, 1962). Entretanto, estudos como os de Borge (2000) e Kalb, Geys & Heinemann (2012) evidenciaram a existência de casos de entes públicos tidos como eficientes, o que reforça a existência de mecanismos voltados para pressionar os gestores públicos pela melhoria na eficiência do gasto.

Assim, a teoria apresentada demonstra que existem variáveis externas e internas às entidades governamentais que influenciam na eficiência dessas unidades. Uma das variáveis identificadas por Sousa & Stošić (2005) foi o porte do município, evidenciando que existe ganho de escala na gestão pública municipal. Outra variável que influencia na eficiência do gasto público é o nível educacional da população, que, devido ao maior esclarecimento, cobra dos governantes melhores serviços públicos (Alesina, Özler, Roubini & Swagel, 1996; Cuadrado-Ballesteros, García-Sánchez, & Prado-Lorenzo, 2013).

Cabe acrescentar que as variáveis (inputs e outputs) escolhidas para mensuração da eficiência influenciam nos índices calculados e, consequentemente, nos resultados dessas pesquisas (Geys et al., 2012). Assim, a escolha dessas variáveis deve ser cuidadosa e imbuída de rigor científico (Pan et al., 2011).

Para o cálculo dos índices de eficiência observa-se que duas técnicas têm sido mais utilizadas. Uma técnica paramétrica – Fronteira Estocástica (FDH) – e outra não-paramétrica – Análise Envoltória de Dados (DEA) (Nogueira, Oliveira, Vasconcelos & Oliveira, 2012; Salazar Cuellar, 2014). Existem outras técnicas que também são utilizadas, porém em menor escala (Feeny & Roger, 2010; Geys, Heinemann & Kalb, 2010). Cada técnica tem seus pontos fortes e fracos, cabendo ao pesquisador selecionar a que melhor se adequa à finalidade proposta (Kalb et al., 2012).

PROCEDIMENTOS METODOLÓGICOS

3.1 Caracterização da Pesquisa

A presente pesquisa busca identificar as variáveis (inputs e outputs) mais utilizadas para mensurar a eficiência do gasto público. O objeto em análise é pouco abordado pela academia, o que caracteriza o estudo como exploratório (Gil, 2008; Malhotra, 2001) . Referindo-se aos resultados, não há aplicação prática prevista e presume-se pouco impacto direto ou imediato sobre o desempenho das organizações e sobre as decisões políticas, o que qualifica a pesquisa como sendo de natureza básica (pura) (Cooper & Schindler, 2011; Prodanov & Freitas, 2013; Vianello, 1990) . No tocante ao seu desenvolvimento no tempo, a pesquisa classifica-se como transversal (seccional) (Cooper & Schindler, 2011; Fontelles Simões, Farias, & Fontelle, 2009) , pois é conduzida apenas uma vez, em curto período de tempo (quatro meses) e revela uma situação com base na bibliografia disponível em dado momento. Quanto aos procedimentos técnicos, a pesquisa caracteriza-se como bibliográfica (Gil, 2008), já que foi elaborada a partir de artigos científicos publicados em periódicos. Logo, os dados utilizados são secundários. O estudo é qualitativo, pois analisa o conteúdo dos artigos coletados e, por sua vez, não faz uso de análises estatísticas (Beuren, 2009; Leite, 2008).

3.2 Procedimentos da pesquisa

Ressalta-se a importância de se utilizar protocolos de buscas estruturadas da literatura que permitam mapear estudos mediante um processo que apresente rigor metodológico (Kobashi & Santos, 2006). Este estudo optou por utilizar o Knowledge Development Process – Constructivist (ProKnow-C) (Bortoluzzi, Ensslin, Ensslin, & Valmorbida, 2011; Eduardo Tasca, Ensslin, Rolim Ensslin, & Bernardete Martins Alves, 2010; Ensslin, Ensslin, & Pinto, 2013; Ensslin et al., 2010; R. T. de O. Lacerda, Ensslin, & Ensslin, 2012; R. T. Lacerda, Ensslin, & Ensslin, 2011), que consiste em um processo composto por quatro etapas: (i) Seleção de um portfólio de artigos (Portfólio Bibliográfico) sobre o tema da pesquisa; (ii) análise bibliométrica do portfólio; (iii) análise sistêmica; e (iv) definição da pergunta e do objeto de pesquisa (Ensslin et al., 2010). No presente estudo foram realizados os procedimentos descritos na primeira etapa (seleção do Portfólio Bibliográfico), tendo em vista o escopo do trabalho.

Primeiramente, foi necessário delimitar a busca: (a) Utilizou-se oito bases para buscar os artigos internacionais (Web of Science, ScienceDirect, Scopus, IEEE XPLORE, EBSCO, JSTOR, GALE e DOAJ) e três bases para artigos nacionais (Periódicos Capes, Scielo e Spell); (b) buscou-se somente artigos publicados em periódicos; (c) sem corte temporal para os artigos nacionais e corte temporal com início em 2006 e término em 2017 para os artigos internacionais, considerando que a bibliografia internacional sobre a temática é mais extensa que a nacional; e (d) valeu-se das palavras-chave descritas no Quadro 1.

Quadro 1: Palavras-chave utilizadas para a busca dos artigos científicos
Artigos nacionaisArtigos internacionais
“eficiência municipal” “eficiência do* município*” “eficiência no* município*” “eficiência do governo” “eficiência governamental” “eficiência no governo” “eficiência do* investimento* público*” “eficiência no* investimento* público*” “eficiência pública” “eficiência do setor público” “eficiência no setor público” “eficiência do* estado*” “eficiência no* estado*” “eficiência no* gasto* público*” “eficiência do* gasto* público*”“government efficiency” “public sector efficiency” “public sector performance” “efficiency of public spending” “efficiency of government expenditure” “efficiency of the public sector” “municipal efficiency” “efficiency of government spending” “government effectiveness” “efficiency in the public sector” “efficiency in government” “efficiency in public expenditure” “efficiency in public spending”

Empregou-se apenas um eixo para realizar as buscas. Este procedimento foi necessário após a realização de testes com as palavras em dois eixos e estes não terem demonstrado assertividade em encontrar artigos da área. A polissemia e a falta de um termo comum aos artigos da área inviabilizaram a utilização do booleano AND. Para a seleção das expressões utilizadas nas buscas (Quadro 1), procedeu-se a uma leitura exploratória de artigos relacionados a ideia de “eficiência do gasto público”. As expressões foram ranqueadas segundo a sua frequência nos textos. O eixo foi sendo construído ao se adicionar as expressões, da mais frequente para a menos frequente, colocando a expressão booleana OR entre elas. Quando o eixo conseguiu identificar todos os artigos, encerrou e consolidou as expressões a serem utilizadas.

As buscas foram realizadas no mês de abril de 2017. Pelo levantamento bibliométrico, foram encontrados 2186 trabalhos. Após esta etapa, os artigos foram filtrados mediante os seguintes procedimentos: (a) Tentativa de download dos 2186 artigos – obteve-se 1697 disponíveis gratuita e integralmente; (b) exclusão dos repetidos (95 trabalhos repetidos); (c) leitura do título, resumo e palavras-chave e, quando necessário, das demais seções, com o objetivo de identificar os estudos alinhados ao tema. Considerou-se alinhado aquele que abordava o tema "eficiência do gasto público" e era empírico. Ao final dos procedimentos, identificou-se 31 artigos nacionais e 51 internacionais. Assim, o portfólio bibliográfico se consolidou com 82 artigos.

Após a coleta de dados e a consolidação do portfólio bibliográfico foi realizada a Análise de Conteúdo (AC), que ocorre em três polos cronológicos (Bardin, 1977) a pré-análise, a exploração do material e o tratamento dos resultados, a inferência e a interpretação. Na fase de pré-análise, a partir dos artigos selecionados, foram formulados os objetivos da pesquisa e os indicadores que fundamentam a interpretação final. Posteriormente, na exploração do material foram aplicados os procedimentos de codificação (ou enumeração), em função de regras previamente formuladas (leitura dos textos e tabulação das variáveis neles contidas). Para essa tabulação, a distribuição de variáveis foi realizada em termos das 28 funções governamentais, definidas pela Portaria 42/1999 do MOG. Na última fase, após todos os artigos terem sido lidos e suas informações tabuladas, foi possível analisar os dados, propor inferências e interpretar os achados.

ANÁLISE DOS RESULTADOS E DISCUSSÃO

Dos 82 estudos analisados, foi possível identificar as variáveis de medição de eficiência do gasto público em 61 deles, portanto, em 21 pesquisas não foi possível identificá-las. Destes 21 trabalhos, 10 estudam a eficiência dos gastos públicos sem a realização de medições, ou seja, não possuem variáveis para cálculo, e 11, apesar de estudarem a eficiência dos gastos públicos com a realização de medições, não utilizaram metodologias que permitem a diferenciação de inputs e outputs ou não declararam quais os indicadores utilizados para esta mensuração.

Dos 61 estudos em que foi possível identificar as variáveis de medição de eficiência do gasto público, foram identificadas 225 variáveis de entrada e 365 de saída. Com relação à representação das variáveis por função de governo, do total (28), 22 possuem pelo menos uma variável de entrada ou uma de saída (Figura 1). Por conseguinte, há seis que não apresentaram variáveis, o que pode evidenciar a escassez de estudos que tratem da eficiência de gastos públicos nas respectivas temáticas: Legislativa, Essencial à Justiça, Defesa Nacional, Relações Exteriores, Ciência e Tecnologia e Organização Agrária. O Quadro 2 demonstra a distribuição das variáveis identificadas por função de governo.

Quadro 2: Quantitativo de variáveis de entrada e de saída por função

Função InputOutput
Administração1819
Agricultura20
Assistência Social329
Comércio e Serviços56
Comunicações01
Cultura35
Desporto e Lazer17
Direitos da Cidadania01
Educação75134
Encargos Especiais70
Energia01
Gestão Ambiental53
Habitação01
Indústria21
Judiciária93
Previdência Social02
Saneamento210
Saúde3379
Segurança Pública48
Trabalho312
Transporte16
Urbanismo212
Fonte: Elaborado pelos autores

Observa-se que as funções Educação, Saúde e Administração – que representam 13% das analisadas – contêm 61,3% do quantitativo total das variáveis de entrada e 65,2% das variáveis de saída. Por outro lado, o rol de 87%, que representa todas as outras 19 funções de governo analisadas, apresentara somente 38,7% de input e 34,8% de output.

É possível afirmar, baseando-se na análise qualitativa dos artigos, que, em geral, os estudos relacionam-se à análise da eficiência do gasto governamental na execução de políticas públicas sob a competência do Poder Executivo. Esta situação justifica a baixa incidência de variáveis relacionadas a funções específicas de outros poderes de Estado, como é o caso da Judiciária, com apenas nove inputs e três outputs (decorrentes de um único artigo) e das Legislativa e Essencial à Justiça, as quais não apresentaram variáveis.

Além dessas duas funções – Legislativa e Essencial à Justiça –, as de Defesa Nacional, Relações Exteriores, Ciência e Tecnologia e Organização Agrária também não apresentaram variáveis na amostra analisada. Dentre os trabalhos que buscaram avaliar a eficiência global dos gastos de governo, nenhum explicou os motivos de não abranger variáveis dessas quatro funções e, ademais, não foi possível fazer inferências a partir da leitura desses artigos. Todavia, como a Constituição Federal (1988) estabelece que essas atribuições são de competência exclusiva do governo federal e considerando que, em geral, os estudos avaliam a eficiência de unidades subnacionais, pode-se supor que as avaliações sobre a eficiência acabam não contemplando essas funções por não haver dados nesse nível.

Um total de 50 inputs e de 25 outputs foram contabilizadas sob o rótulo “Não Determinada”, pois não estão relacionadas a uma função específica. Destaca-se que estas variáveis, em geral, estão associadas à qualidade de vida da população, como atividade econômica ou renda, o que sinaliza uma tentativa dos autores de avaliar a efetiva melhoria da qualidade de vida da população, traduzindo um conceito de avaliação da efetividade das políticas públicas. As seguintes funções não apresentaram estudos específicos de medição da eficiência: Agricultura, Comunicações, Cultura, Direitos da Cidadania, Encargos Especiais, Energia, Indústria, Previdência Social, Saneamento e Transporte. Todavia, como pode ser observado, em estudos de mensuração da eficiência de outras funções constam variáveis relacionadas a essas que não possuem estudos específicos.

Para a seleção das principais variáveis, adotou-se um critério de frequência. Ou seja, as variáveis que apresentavam maior recorrência foram categorizadas como as principais variáveis. Entretanto, como as variáveis não estão distribuídas de forma homogênea entre as funções, estabeleceu-se um limitador mínimo de frequência para a composição das principais variáveis, conforme a quantidade de variáveis inicialmente identificadas, de acordo com o apresentado no quadro 3:

Quadro 3: Critério para seleção de variáveis
Tipo variável Total variáveis na funçãoFrequência Mínima
InputAcima de 204
Entre 10 e 193
Entre 5 e 92
Entre 1 e 41
OutputAcima de 103
Entre 5 e 92
Entre 1 e 41

A criação destas faixas de frequência foi motivada pela concentração de variáveis em algumas funções, tal como Educação e Saúde. Ademais, a faixa de corte superior (acima de 20) para inputs é maior que o mesmo patamar de outputs porque normalmente há grande repetição das variáveis de entrada (inputs). Educação e Saúde foram as únicas que apresentaram mais de um artigo (24 e 17 publicações), e 31 buscaram avaliar a eficiência de forma global, retratando a eficiência do ente público como um todo, abarcando variáveis de mais de uma função.

Após a análise qualitativa das variáveis e sua classificação por função governamental, foi possível apresentar os principais proxies utilizados na análise da eficiência dos gastos públicos. Os quadros 4 e 5 apresentam a relação de variáveis mais utilizadas como input e output. Observa-se que os 81 estudos destacados para análise foram classificados em apenas 13 das 28 funções possíveis. Além disso, identificou-se que 10 tiveram mais de uma função de governo como objeto de avaliação da eficiência dos gastos públicos.

Quadro 4: Relação de inputs mais utilizadas em pesquisas por função de governo
Função Inputs
Administra-ção1. Gasto total da respectiva unidade administrativa avaliada 2. Gastos com funcionários 3. Gastos com investimentos 4. Gastos operacionais
Agricultura1. Gastos com incentivo à agriculturaper capita 2. Gastos com incentivo à agricultura
Assistência Social1. Gasto total da respectiva unidade administrativa avaliada
Comércio e Serviços1. Gastos com investimentos 2. Gastos com incentivo ao comércio e serviços 3. Gastos com incentivo ao comércio e serviços per capita 4. Gastos com serviços públicos
Comunica-çõesNenhuma variável de entrada identificada
Cultura1. Gastos com incentivo à cultura per capita 2. Gastos com incentivo à cultura
Desporto e Lazer1. Gastos com desporto e lazer per capita
Direitos da CidadaniaNenhuma variável de entrada identificada
Educação1. Gastos com educação 2. Gastos com educação per capita 3. Gastos com funcionários 4. Gastos com investimentos 5. Relação aluno/professor 6. Índice de qualidade da educação 7. Alunos matriculados
Encargos Especiais1. Gastos com transferências Receitas correntes
EnergiaNenhuma variável de entrada identificada
Gestão Ambiental1. Reforma dos preços da água 2. Financiamento do governo 3. Coordenação pela administração 4. Monitores formais 5. Gestão auto-organizada
HabitaçãoNenhuma variável de entrada identificada
Indústria1. Gastos com incentivo à indústria per capita 2. Gastos com inventivo à indústria
Judiciária1. Gasto total da respectiva unidade administrativa avaliada 2. Gastos com funcionários
Previdência SocialNenhuma variável de entrada identificada.
Saneamento1. Gastos com saneamento per capita 2. Gastos com saneamento
Saúde1. Gastos com saúde 2. Gastos com funcionários 3. Gastos com saúde per capita
Segurança Pública1. Gastos com segurança 2. Custos empresariais do crime e da violência 3. Índice de crime organizado
Trabalho1. Gastos com incentivo ao trabalho per capita 2. Número de funcionários
Transporte1. Gastos com transporte
Urbanismo1. Gastos com urbanismo

Quadro 5: Relação de outputs mais utilizadas em pesquisas por função de governo
Função Outputs
Administra-ção1. Índices e sub-índices setoriais 2. Taxa de crescimento do PIB
Agricultura1. Nenhuma variável de saída identificada
Assistência Social1. Número ou porcentagem de pessoas atendidas ou inscritas em programas sociais 2. Percentual de idosos (maiores de 65 anos) 3. Percentual de população idosa com assistência social
Comércio e Serviços1. Índices e sub-índices setoriais 2. Número de estabelecimentos comerciais
Comunica-ções1. Número de linhas telefônicas por habitantes
Cultura1. Áreas de espaços recreacionais 2. Número de museus, zoológicos, jardins botânicos, etc. 3. Atividades culturais 4. Número de locais culturais 5. Número de monumentos
Desporto e Lazer1. Área de espaços recreacionais 2. Área de quadras esportivas
Direitos da Cidadania1. Índices e sub-índices setoriais
Educação1. Área de espaços recreacionais 2. Índice de aprovação 3. Índices e sub-índices setoriais 4. Nota em índices de avaliação da educação (IDEB, PISA, etc) 5. Número de matrículas 6. Notas no idioma nativo e matemática 7. Número de escolas 8. Número de pessoas com menos de 4 anos de estudo 9. Número ou porcentagem pessoas atendidas ou inscritas em programas sociais 10. Percentual de alfabetizados em determinada faixa etária 11. Taxa de crescimento do PIB
Encargos EspeciaisNenhuma variável de saída identificada
Energia1. Perdas na distribuição de energia elétrica
Gestão Ambiental1. Índices e sub-índices setoriais 2. Uso de práticas de gestão sustentável 3. Áreas de reservas ecológicas
Habitação1. Número de proprietários de imóveis
Indústria1. Número de ações para incentivo a micro e pequenas empresas
Judiciária1. Custas cobradas 2. Número de sentenças 3. Qualidade da legislação
Previdência Social1. Percentual de pagantes de empregados pagadores de previdência social
Saneamento1. Percentual de residências com coleta de lixo 2. Percentual de residência com agua tratada 3. Percentual de residências com coleta de esgoto
Saúde1. Índices e sub-índices setoriais 2. Percentual de pessoas atendidas ou inscritas em programas sociais 3. Número de procedimentos hospitalares/ambulatoriais 4. Cobertura vacinal 5. Expectativa de vida 6. Mortalidade infantil 7. Taxa de mortalidade 8. Número de profissionais na área de saúde 9. Número de internações 10. Número de estabelecimentos de saúde 11. Horas de trabalho de profissionais da área de saúde
Segurança Pública1. Índices e sub-índices setoriais 2. Índice de homicídios dolosos 3. Índice de latrocínio 4. Índice de homicídios no trânsito 5. Índice de tráfico de drogas 6. Índice de estupros 7. Número de óbitos violentos 8. Número de delegacias de polícia
Trabalho1. Renda média 2. Taxa de emprego / desemprego 3. Índice de GINI
Transporte1. Quilômetros de ruas construídas 2. Quantidade de pistas reparadas 3. Quantidade de vias rurais reparadas
Urbanismo1. Índices e sub-índices setoriais 2. Área de espaços recreacionais 3. População urbana

Importante destacar, para a compreensão dos quadros 4 e 5, que foram identificados índices oficiais brasileiros e internacionais para mensuração de determinada função, como índice de estabilidade, índice de corrupção ou índice de provimento social. Ou seja, a variável utilizada representa um grupo de outras variáveis menores que foram fundidas a partir de uma estatística própria. Neste artigo, definiu-se como “índices e sub-índices setoriais”. A existência desse indicador impacta na compreensão dos artigos analisados, visto que as variáveis são agrupadas para formar os índices. Logo, as variáveis que compõem os índices não são detalhadas.

Das 22 funções analisadas, 18 possuem inputs, e dentre estas, 16 apresentaram como variável de entrada comum o gasto total da unidade administrativa na respectiva função governamental. Isso se justifica pelo fato de que, como o estudo da eficiência está intrinsecamente ligado a compreender a melhor aplicação dos recursos, de forma a atender as necessidades da sociedade e a aumentar o desempenho econômico (Yanikkaya, 2008), a utilização de inputs não relacionadas ao gasto acaba sendo uma situação atípica, mas que ocorre nas funções Educação, Encargos Especiais, Gestão Ambiental, Segurança Pública e Trabalho, nas quais não se identificou um padrão de variáveis ou da forma como são utilizadas nos cálculos de mensuração.

Além do gasto total da unidade administrativa na respectiva função, outra variável bastante presente é o gasto total da unidade administrativa per capita. Em diversos estudos os autores utilizam apenas o gasto per capita como input. A principal justificativa é a de que a maioria dos estudos abrange a avaliação de diferentes entes, muitos deles com foco na comparação da eficiência entre entes. Um dos motivos do uso de dados em termos per capita se deve à busca da redução de distorções financeiras ou orçamentárias que poderiam advir da discrepância de poder econômico (Kaveski, Martins & Scarpin, 2015). Ainda no que tange ao gasto público, importa saber que normalmente as pesquisas recorrem a dados históricos e, por conta disso, realizam a atualização monetária para correção dos valores (Feitósa & Hein, 2014).

Outro input de destaque é o número de funcionários que atua na área governamental da unidade administrativa avaliada, a qual está presente em cinco funções. Em geral, esta variável é considerada como um proxy importante para diversas funções por ter influência sobre os aspectos de infraestrutura, desenvolvimento dos serviços e de contribuições sociais, por exemplo, a Previdência Social (Geys et al., 2010; Kalb et al., 2012).

Além da análise sobre as variáveis, procurou-se entender os casos de funções que apresentam somente inputs ou somente outputs. Portanto, nos parágrafos seguintes, é apresentada uma revisão dos artigos relacionados aos casos que se enquadram em duas situações: Que apresentam variáveis de input para algumas funções de governo sem apresentar variáveis de output (Agricultura e Encargos Especiais) e casos que apresentam variáveis de output sem as respectivas variáveis de input (Comunicações, Direitos da Cidadania, Energia, Habitação e Previdência Social).

A função Agricultura apresenta dois inputs e não apresenta output. Essas duas variáveis de entrada constam nos trabalhos de Costa et al. (2015) e Moreno-Enguix e Bayona (2017). Ambas as variáveis abordam os gastos públicos relativos ao incentivo da agricultura. Na análise das variáveis de saída dos dois estudos, constatou-se que esses inputs são apenas variáveis para o desempenho geral da unidade administrativa, avaliados pelo rendimento médio do setor formal e do PIB.

A função Encargos Especiais apresenta sete inputs e não apresenta output. Estas variáveis de entrada constam nos trabalhos de Borge et al. (2008), Rao e Tiwari (2008), Diniz, Macedo e Corrar (2012), Cuadrado-Ballesteros, García-Sánchez e Prado-Lorenzo (2013), Baciu e Boteza (2014) e Moreno-Enguix e Bayona, (2017). Todas tratam de transferências e receitas para a unidade administrativa e são apenas utilizadas como variáveis para avaliar a receita total das respectivas unidades.

As funções governamentais Comunicações, Direitos da Cidadania, Energia e Habitação apresentam um output cada e não apresentam input. O output presente na função Comunicações consta no trabalho de Josic et al. (2012). Ela atua como input custo total da unidade administrativa sobre o acesso da população às telecomunicações. Com relação a Direitos da Cidadania, a variável de saída consta no trabalho de Moreno-Enguix e Bayona (2017), o qual apresenta como input diversas variáveis que envolvem outras funções de governo, que impactam indicadores relacionados ao direito da cidadania. No que tange à Energia, o estudo de Josic et al. (2012) apresenta o custo total dos serviços públicos da unidade administrativa como input e diversas variáveis de saída, incluindo entre elas as perdas na distribuição de energia elétrica. Em relação à Habitação, a variável de entrada é o custo total da unidade administrativa, no qual, no estudo de Drew, Dollery e Kortt (2016) é avaliado o efeito dessa entrada como proxy para a quantidade de proprietários de imóveis na unidade administrativa.

Por fim, a função Previdência Social não possui input e apresenta dois outputs. As variáveis de saída tratam da quantidade de empregados pagadores de previdência social, as quais constam nos trabalhos de Geys, Heinemann e Kalb (2010) e Asatryan e De Witte (2015). A ausência de input se justifica pelo uso da variável de entrada gasto total da unidade administrativa, que não está associada a uma função determinada, para a saída quantidade de empregados pagadores de previdência social.

Ao se analisar a distribuição de inputs e outputs, constata-se que o quantitativo de variáveis por função está em consonância com o número de estudos por função de governo, pois a maior parte dos achados se concentra na medição da eficiência dos gastos públicos das áreas de educação e de saúde.

CONCLUSÃO

A análise da eficiência do gasto público está calcada na relação entre o fornecimento de bens e serviços públicos (outputs) e a utilização da menor quantidade possível de insumos (inputs). Entretanto, para mensurar adequadamente a eficiência, faz-se necessária uma seleção cuidadosa das variáveis a serem utilizadas, com critérios claros e objetivos. Assim, o artigo se propôs a identificar as variáveis mais utilizadas para mensurar a eficiência do gasto público por função de governo, considerando que os estudos sobre essa temática analisam diferentes funções governamentais. Para tal, foi realizada uma pesquisa bibliográfica sobre a temática que, após a aplicação dos métodos descritos, resultou em uma base de 82 artigos, sendo 31 brasileiros e 51 internacionais.

Destaca-se a assertividade da pesquisa em utilizar apenas trabalhos empíricos, tendo em vista que a maioria apresentou inputs e outputs para mensuração da eficiência. Esta situação permitiu que o presente estudo atingisse o objetivo de pesquisa proposto. Cabe ressaltar que, nas pesquisas analisadas, observou-se a ausência de padrões na utilização de inputs e outputs. Além disso, constatou-se que as variáveis são utilizadas, recorrentemente, sem considerar um arcabouço teórico para fundamentar suas escolhas, transparecendo, assim, arbitrariedade e diminuição de confiabilidade nos achados.

Ainda, constatou-se a recorrência do input gasto total (global ou associado a cada função). Em contraponto, observou-se uma grande multiplicidade de outputs que retratam uma perspectiva mais ampla do gasto associado a cada função. O resumo das variáveis mais recorrentes foi detalhado nos quadros 4 e 5.

Os achados do presente artigo podem contribuir para o preenchimento das lacunas identificadas na literatura, na medida em que apresenta um padrão de variáveis a serem utilizadas e, assim, espera-se obter comparabilidade entre estudos e mais confiabilidade dos índices de eficiência calculados. Espera-se que futuras pesquisas respondam perguntas como mais investimentos em setores públicos se traduzem em melhores resultados dos serviços prestados, quais são os entes públicos que são destaque de eficiência e quais as variáveis que impactam na eficiência dos entes públicos. Os artigos analisados permitem afirmar que não há um encaminhamento coordenado entre as pesquisas da área, pois utilizam inputs e outputs distintos para analisar o mesmo setor. Além disso, poucas vezes realizam comparações com trabalhos anteriores e limitam-se a análises estatísticas.

A pesquisa contribui com a academia ao fornecer um quadro com inputs e outputs geralmente utilizados pelos estudos. Espera-se que esta demonstração ajude na elaboração de futuras pesquisas (Drew et al. 2015, Olanubi & Osode, 2016), uma vez que a ausência de um estudo que levante e apresente os indicadores que podem compor um índice global de eficiência do gasto do governo é um fator que inibe a produção científica acerca da temática (António Afonso et al., 2005; Borge et al., 2008; Diel et al., 2014; Drew et al., 2015; Olanubi & Osode, 2016).

Além da academia, os achados deste trabalho podem contribuir para que os gestores públicos façam uso dessas variáveis na construção de sistemas de monitoramento da eficiência de seus respectivos entes, buscando melhorias no gasto público e, consequentemente, benefícios para a população. Além disso, podem ser utilizadas por organizações não governamentais ou pela sociedade civil organizada para monitorar a eficiência dos entes públicos. A partir desses dados, a população poderia acompanhar o desempenho dos gestores, de forma a proporcionar mais transparência ao processo eleitoral e auxiliá-la na escolha de seus representantes.

O presente estudo evitou a emissão de julgamento sobre a qualidade, relevância ou pertinência das variáveis detectadas, o que pode ter permitido a inclusão de variáveis que se repetem na literatura, porém não são as mais adequadas para a mensuração proposta. Considerando a existência de uma concentração da literatura na análise da eficiência das funções Educação e Saúde, o estudo apresenta limitações no tocante à superestimação de variáveis para mensuração destas funções públicas, em que pese o método de seleção e filtragem de variáveis ter sido desenvolvido para mitigar ou minimizar esse impacto. Outra limitação foi a exclusão de artigos que não fossem gratuitos ou disponíveis integralmente.

Alinhados a estas limitações, propõe-se que pesquisas futuras analisem a relevância e pertinência das variáveis identificadas como as mais utilizadas, garantindo maior confiabilidade aos estudos acerca do tema eficiência do gasto público. Além disso, estudos voltados para comparar a seleção de variáveis conforme a esfera de governo ou entre países, poderia auxiliar numa compreensão mais ampla das variáveis utilizadas. Estudos de cunho qualitativo que busquem identificar quais serviços públicos são percebidos como essenciais e podem contribuir para uma melhor avaliação da pertinência das variáveis que serão utilizadas, assim como as práticas de gestão que vem sendo adotada nos entes públicos analisados.

REFERÊNCIAS BIBLIOGRÁFICAS

Afonso, A.; Schuknecht, L.; Tanzi, V. (2005). Public sector efficiency: An international comparison. Public Choice, 123(3–4), 321–347. https://doi.org/10.1007/s11127-005-7165-2

Afonso, A.; Schuknecht, L., Tanzi, V. (2010). Income distribution determinants and public spending efficiency. Journal of Economic Inequality, 8(3), 367–389. https://doi.org/10.1007/s10888-010-9138-z

Afonso, A., Schuknecht, L., Tanzi, V. (2010). Public sector efficiency: evidence for new EU member states and emerging markets. Applied Economics, 42(17), 2147–2164. https://doi.org/10.1080/00036840701765460

Alesina, A.; Özler, S.; Roubini, N.; Swagel, P. (1996). Political Instability and Economic Growth. Journal of Economic Growth, 1(2), 189–211. https://doi.org/10.2307/40215915

Asatryan, Z.; De Witte, K. (2015). Direct democracy and local government efficiency. European Journal of Political Economy, 39, 58–66. https://doi.org/10.1016/j.ejpoleco.2015.04.005

Baciu, L.; Botezat, A. (2014). A comparative analysis of the public spending efficiency of the new EU member states: A DEA approach. Emerging Markets Finance and Trade, 50(August), 31–46. https://doi.org/10.2753/REE1540-496X5004S402

Bardin, L. (1977). Análise De Conteúdo.

Beuren, I. M. (2009). Como elaborar trabalhos monográficos em contabilidade: teoria e prática. (3rd ed.). São Paulo: Atlas.

Borge, L. E. (2000). Charging for public services: The case of utilities in Norwegian local governments. Regional Science and Urban Economics, 30(6), 703–718. https://doi.org/10.1016/S0166-0462(00)00051-X

Borge, L. E.; Falch, T.; Tovmo, P. (2008). Public sector efficiency: The roles of political and budgetary institutions, fiscal capacity, and democratic participation. Public Choice, 136(3–4), 475–495. https://doi.org/10.1007/s11127-008-9309-7

Bortoluzzi, S. C.; Ensslin, S. R.; Ensslin, L.; Valmorbida, S. M. I. (2011). Avaliação de Desempenho em Redes de Pequenas e Médias Empresas: Estado da arte para as delimitações postas pelo pesquisador. Revista Eletrônica de Estratégia Negócios, 4(2), 202. https://doi.org/10.19177/reen.v4e22011202-222

Boueri, R.; Rocha, F.; Rodopoulos, F. (2015). Avaliação da Qualidade do Gasto Público e Mensuração da Eficiência, 463. Retrieved from https://www.tesouro.fazenda.gov.br/documents/10180/318974/COR_LIVRO_Avaliacao_da_Qualidade_do_Gasto_Publico_e_Mensuracao_de_Eficienc...

Bresser-Pereira, L. C. (1999). Reforma gerencial do Estado , teoria política e ensino da administração pública Reforma gerencial do Estado , teoria política e ensino da administração pública, (1987), 1–6.

Buchanan, J. M.; Tullock, G. (1962). The Calculus of Consent: Logical Foundation of Constitutional Democracy. Library Fund, Inc.; 1–323. https://doi.org/10.2307/1913055

Butler, E. (2012). Public Choice - A Primer, 135.

Cooper, D. R.; Schindler, P. S. (2011). Métodos de Pesquisa em Administração.

Costa, C. C. de M.; Ferreira, M. A. M.; Braga, M. J.; Abrantes, L. A. (2015). Fatores associados à eficiência na alocação de recursos públicos à luz do modelo de regressão quantílica. Revista de Administração Pública, 49(5), 1319–1347. https://doi.org/10.1590/0034-7612130868

Cuadrado-Ballesteros, B.; García-Sánchez, I. M.; Prado-Lorenzo, J. M. (2013). Effect of modes of public services delivery on the efficiency of local governments: A two-stage approach. Utilities Policy, 26, 23–35. https://doi.org/10.1016/j.jup.2013.04.005

Denhardt, R. (2015). Teorias da Administração. (C. Learning, Ed.) (6.ed.). São Paulo.

Diel, E. H.; Diel, F. J.; Schulz, S. J.; Chiarello, T. C.; Rosa, F. S. da. (2014). Desempenho de Municípios Brasileiros em Relação à Estratégia de Investimento Público em Educação. Desenvolvimento Em Questão, 12(26), 79. https://doi.org/10.21527/2237-6453.2014.26.79-107

Diniz, J. A.; Macedo, M. A. D. S.; Corrar, L. J. (2012). Mensuração da eficiência financeira municipal no brasil e sua relação com os gastos nas funções de governo. Gestão & Regionalidade, 28(83), 5–20.

Drew, J.; Dollery, B.; Kortt, M. A. (2016). Peas in a Pod: Are Efficient Municipalities also Financially Sustainable? Australian Accounting Review, 26(2), 122–131. https://doi.org/10.1111/auar.12098

Drew, J.; Kortt, M.; Dollery, B. (2015). What Determines Efficiency in Local Government ? A DEA Analysis of NSW Local Government, 34(4), 243–256. https://doi.org/10.1111/1759-3441.12118

Eduardo Tasca, J.; Ensslin, L.; Rolim Ensslin, S.; Bernardete Martins Alves, M. (2010). An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, 34(7), 631–655. https://doi.org/10.1108/03090591011070761

Ensslin, L.; Ensslin, S. R.; Pinto, H. de M. (2013). Processo de investigação e análise bibliométrica: avaliação da qualidade dos serviços bancários. Revista de Administração Contemporânea, 17(3), 325–349. https://doi.org/10.1590/S1415-65552013000300005

Ensslin et al. (2010). ProKnow-C, knowledge development process - constructivist. Processo técnico com patente de registro pendente junto ao INPI.

Feeny, S.; Roger, M. (2010). PUBLIC SECTOR EFFICIENCY, FOREIGN AID AND SMALL ISLAND DEVELOPING STATES. Journal of International Development, 96(1), 10–14. https://doi.org/10.1002/jid

Feitósa, C. G.; Hein, A. F. (2014). Análise da eficiência dos gastos em segurança pública nos estados brasileiros através da Análise Envoltória de Dados (DEA). Revista Capital Científico – Eletrônica (RCCe), 12.

Fontelles, M.; Simões, M.; Farias, S.; Fontelle, R. (2009). Metodologia Da Pesquisa Científica: Diretrizes Para a Elaboração De Um Protocolo De Pesquisa. Revista Paraense de Medicina, 23(2), 1–8.

Geys, B.; Heinemann, F.; Kalb, A. (2010). Voter involvement, fiscal autonomy and public sector efficiency: Evidence from German municipalities. European Journal of Political Economy, 26(2), 265–278. https://doi.org/10.1016/j.ejpoleco.2009.11.002

Geys, B.; Heinemann, F.; Kalb, A. (2012). Local Government Efficiency in German Municipalities. Raumforschung Und Raumordnung, 71(4), 283–293. https://doi.org/10.1007/s13147-012-0191-x

Gil, A. C. (2008). Métodos e Técnicas de Pesquisa Social . m entos constituem a modalidade de pesquisa mais difundida no campo das.

Gupta, S.; Davoodi, H.; Alonso-Terme, R. (1998). Does Corruption Affect Income Inequality and Poverty?

Gupta, S.; Verhoeven, M. (2001). The efficiency of government expenditure: Experiences from Africa. Journal of Policy Modeling, 23(4), 433–467. https://doi.org/10.1016/S0161-8938(00)00036-3

Heylen, F.; Hoebeeck, A.; Buyse, T. (2013). Government efficiency, institutions, and the effects of fiscal consolidation on public debt. European Journal of Political Economy, 31, 40–59. https://doi.org/10.1016/j.ejpoleco.2013.03.001

Hsu, Y. C. (2014). Efficiency in government health spending: A super slacks-based model. Quality and Quantity, 48(1), 111–126. https://doi.org/10.1007/s11135-012-9753-9

Huther, J.; Shah, A. (1999). Applying a Simple Measure of Good Governance to the Debate on Fiscal Decentralization. USAID Seminar on Democracy and Governance, ECLAC Seminar on Decentralization (Venzuela), (March 1998), 1–28. https://doi.org/10.1596/1813-9450-1894

Hwang, J.; Akdede, S. H. (2011). The influence of governance on public sector efficiency: A cross-country analysis. Social Science Journal, 48(4), 735–738. https://doi.org/10.1016/j.soscij.2011.04.002

Josic, D.; Delic, D.; Rasulic, N.; Stajkovic, O.; Kuzmanovic, D.; Stanojkovic, A.; Pivic, R. (2012). Indigenous pseudomonads from rhizosphere of maize grown on pseudogley soil in serbia. Bulgarian Journal of Agricultural Science, 18(2), 197–206. https://doi.org/10.1007/sl

Kalb, A.; Geys, B.; Heinemann, F. (2012). Value for money? German local government efficiency in a comparative perspective. Applied Economics, 44(2), 201–218. https://doi.org/10.1080/00036846.2010.502110

Kaveski, I. D. S.; Martins, J. A. S.; Scarpin, J. E. (2015). A eficiência dos gastos públicos com o ensino médio regular nas instituições estaduais brasileiras. Enfoque E Reflexão Contábil, 34(1), 29–43. https://doi.org/10.4025/enfoque.v34i1.22019

Kobashi, N. Y.; Santos, R. N. M. dos. (2006). Institucionalização da pesquisa científica no Brasil: cartografia temática e de redes sociais por meio de técnicas bibliométricas. Transinformação, 18(1), 27–36. https://doi.org/10.1590/S0103-37862006000100003

Lacerda, R. T. de O.; Ensslin, L.; Ensslin, S. R. (2012). Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, 19(1), 59–78. https://doi.org/10.1590/S0104-530X2012000100005

Lacerda, R. T.; Ensslin, L.; Ensslin, S. R. (2011). Contribuições à gestão estratégica de organizações quando analisados na visão de seu desempenho. GESTÃO.Org, 9(2), 327–358.

Leite, F. T. (2008). Metodologia científica: métodos e técnicas de pesquisa (monografias, dissertações, teses e livros) (1st ed.). Aparecida: Idéias & Letras.

Malhotra, N. K. (2001). Pesquisa de marketing: uma orientação aplicada. Porto Alegre: Bookman.

Moreno-Enguix, M. D. R.; Bayona, L. V. L. (2017). Factors Affecting Public Expenditure Efficiency in Developed Countries. Politics & Policy, 45(1), 105–143. https://doi.org/10.1111/polp.12139/abstract

Musgrave, R. A.; Musgrave, P. B. (1989). Public Finance in Theory and Practice (5. ed.). Mcgraw-Hill College.

Nogueira, J. M. M.; Oliveira, K. M. M. De, Vasconcelos, A. P. De, Oliveira, L. G. L. (2012). Estudo exploratório da eficiência dos Tribunais de Justiça estaduais brasileiros usando a Análise Envoltória de Dados (DEA). Revista de Administração Pública, 46(5), 1317–1340. https://doi.org/10.1590/S0034-76122012000500007

Olanubi, S. O.; Osode, O. E. (2016). The Efficiency of Government Spending on Health: a comparison of different Administrations in Nigeria. Journal of Policy Modeling. https://doi.org/10.1016/j.jpolmod.2016.12.002

Pan, S.-C.; Liu, S.-Y.; Peng, C.-J.; Wu, P.-C. (2011). Local government efficiency evaluation: Consideration of undesirable outputs and super-efficiency. African Journal of Business Management, 5(12), 4746–4754. https://doi.org/10.5897/AJBM10.653

Prodanov, C. C.; Freitas, E. C. De. (2013). Metodologia do trabalho científico: métodos e técnicas da pesquisa e do trabalho acadêmico. Novo Hamburgo: Feevale. https://doi.org/10.1017/CBO9781107415324.004

Rao, N.; Tiwari, S. (2008). A study of factors affecting Efficiency of Public Sector Banks. Journal of Services Research, 8(2), 73–89.

Rocha, F.; Giuberti, A. C. (2007). Composição do Gasto Público e Crescimento Econômico: Uma Avaliação Macroeconômica da Qualidade dos Gastos Públicos dos Estados Brasileiros. Economia Aplicada, 11(4), 463–485. https://doi.org/10.1590/S1413-80502007000400001

Rosano-Peña, C.; Albuquerque, P. H. M.; Cavalho, J. M. (2012). A eficiência dos gastos públicos em educaçao: Evidências georreferenciadas nos municípios goianos. Economia Aplicada, 16(3), 421–443. https://doi.org/10.1590/S1413-80502012000300004

Rosano-Peña, C.; Albuquerque, P. H. M.; Daher, C. E. (2012). Dinâmica da Produtividade e Eficiência dos Gastos na Educação dos Municípios Goianos. Revista de Administração Contemporânea, 16(6), 845–865. Retrieved from http://www.scielo.br/scielo.php?pid=S1415-65552012000600006&script=sci_arttext

Salazar Cuellar, A. F. (2014). La eficiencia del gasto público educativo en Latinoamérica y lecciones para Colombia. Desarrollo Y Sociedad, (74), 1967. https://doi.org/10.13043/DYS.74.1

Sampaio De Sousa, M. D. C.; Stošić, B. (2005). Technical efficiency of the Brazilian municipalities: Correcting nonparametric frontier measurements for outliers. Journal of Productivity Analysis, 24(2), 157–181. https://doi.org/10.1007/s11123-005-4702-4

Šťastná, L.; Gregor, M. (2014). Public sector efficiency in transition and beyond: evidence from Czech local governments. Applied Economics, 47(7), 680–699. https://doi.org/10.1080/00036846.2014.978077

Tanzi, V.; Schuknecht, L. (2014). Reconsidering the Fiscal Role of Government : The International Perspective Reconsidering the Fiscal Role of Government : The International Perspective. The American Economic Review, 87(2), 164–168.

Vianello, L. P. (1990). Métodos e Técnicas de Pesquisa.

Yanikkaya, J. L. B. and H. (2008). Institutions and the Impact of Government Spending on Growth. Department of Economics, Alfred Lerner College of Business and Economics, University of Delaware, 1–34.

HTML generado a partir de XML-JATS4R por