Artigos

Capacidades Analíticas no Processo de Produção de Políticas Públicas: Quais Fontes de Evidências Usam os Burocratas do Serviço Civil da Administração Pública Federal?

Analytical Capacities in Public Policy Production Process: What Sources of Evidence Do the Civil Service Bureaucrats of the Federal Public Administration Use?

Capacidades Analíticas en el Proceso de Producción de Políticas Públicas: ¿Qué Fuentes de Evidencias Utilizan los Burócratas del Servicio Civil de la Administración Pública Federal?

Alex dos Santos Macedo alexmacedo.ufv@gmail.com

Universidade Federal de Viçosa, Brasil

Rafael Viana rafael.viana@enap.gov.br

Escola Nacional de Administração Pública, Brasil

Maricilene Isaira Baia do Nascimento maricilene_isaira@hotmail.com

Instituto de Pesquisa Econômica Aplicada, Brasil

Capacidades Analíticas no Processo de Produção de Políticas Públicas: Quais Fontes de Evidências Usam os Burocratas do Serviço Civil da Administração Pública Federal?

Administração Pública e Gestão Social, vol. 11, núm. 4, 2019

Universidade Federal de Viçosa

Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 3.0 Internacional.

Recepção: 31 Janeiro 2019

Aprovação: 14 Agosto 2019

Publicado: 01 Outubro 2019

Resumo: O objetivo central deste estudo foi identificar quais fontes de evidências usam os burocratas do serviço civil da Administração Pública Federal brasileira (APF) no processo de produção da política pública. A partir da análise estatística descritiva e multivariada, foram exploradas informações de 2000 servidores da APF sobre o uso de evidências, considerando a categorização desses burocratas conforme: (1) Características demográficas, (2) tipos de função na política pública, (3) diferentes órgãos da administração federal, (4) tipos de cargos na administração federal e (5) áreas de política pública. Os resultados apontam que, em média, a depender da função exercida na política pública e da natureza da política pública, diferentes fontes de evidência são recorridas. Além disso, os órgãos se diferenciam no grau de recorrência a essas fontes.

Palavras-chave: Capacidade Analítica, Fontes de Evidência, Política Pública, Serviço Civil, Administração Federal.

Abstract: The main objective of this study was to identify which sources of evidence the Brazilian Federal Public Administration (FPA) uses in the production of public policies process. Based on descriptive and multivariate statistical analysis, information obtained from 2,000 civil workers were explored on the use of evidence, considering the categorization of these bureaucrats according to: (1) Demographic characteristics, (2) types of roles in public policy, (3) different organs in federal public administration, (4) types of position and (5) public policy areas. The results indicate that, on average, depending on the role played in public policy and on the public policy area, different sources of evidence are used. In addition, the organs differ in the degree of recurrence to these sources.

Keywords: Analytical Capacity, Sources of Evidences, Public Policy, Civil Service, Public Administration.

Resumen: El objetivo central de este estudio fue identificar qué fuentes de evidencias utilizan los burócratas del servicio civil de la Administración Pública Federal Brasileña (APF) en el proceso de producción de políticas públicas. A partir del análisis estadístico descriptivo y multivariado, fueran exploradas informaciones de 2000 burócratas de la APF sobre el uso de evidencia, considerando la categorización de estos burócratas de acuerdo con: (1) Características demográficas, (2) tipos de función en la política pública, (3) diferentes órganos de la administración federal, (4) tipos de cargos en la administración federal, y (5) áreas de política pública. Los resultados indican que, en promedio, según el papel que es desempeñado en la política pública y de la naturaleza de la política pública, diferentes fuentes de evidencias son utilizadas. Además, cuando los burócratas fueran analizados de acuerdo con los órganos en los que trabajan, los resultados mostraron que el grado de recurrencia para estas fuentes es diferente.

Palabras clave: Capacidad Analítica, Fuentes de Evidencias, Política Pública, Servicio Civil, Administración Federal.

1. INTRODUÇÃO

A abordagem do evidence-based policy making (EBPM) tem crescido substancialmente no mundo, reivindicando o uso de evidências por parte dos diferentes governos, entendidas como “resultados de pesquisas sistemáticas voltadas ao acúmulo crescente do conhecimento” (Davies, Nutley, & Smith, 2000, p.3) com vistas à produção de políticas públicas. Diante da complexificação dos problemas públicos – wicked problems (Buchanan, 1992) –, acompanhada da crescente oferta de recursos informacionais disponíveis para a definição e a solução do problema público, a EBPM tem ganhado relevo nas últimas duas décadas entre acadêmicos, policy makers e practitioners ao valorizar uma lógica de racionalização e eficácia das políticas públicas baseada em evidências (Davies, Nutley, & Smith, 2000).

Esta crescente mobilização de atores dentro e fora do processo de tomada de decisão política com vistas ao aumento de resultados das políticas públicas a partir da adoção de uma racionalidade avaliativa sistemática dos problemas de interesse público é um aspecto sobre o qual convencionou-se considerar “capacidade analítica do estado”, uma dimensão que está intimamente relacionada à “capacidade de política do estado” (Howlett, 2009; Saguin, Ramesh & Howlett, 2018). Pesquisas recentes, especialmente as realizadas em países anglo-saxões, trazem a dimensão do uso de evidências como uma referência normativa da capacidade analítica do estado na produção de políticas públicas (Wu et al., 2015). Alguns estudos empíricos demonstram, inclusive, que, nesses países, o uso de evidências é restrito ao grupo de burocratas que possui alguma proximidade com a produção acadêmica.

A relação entre políticas públicas e evidências começou a ser explorada nos últimos anos no Brasil (Souza et al., 2013; Wichmann, Carlan & Barreto, 2016), mas ainda pouco se sabe sobre a sua construção e alcance na burocracia federal. Ademais, há escassa produção sobre o que informa a atuação dos burocratas do serviço civil e, por conseguinte, as políticas públicas brasileiras. Essa escassez foi alvo de recente pesquisa desenvolvida pela Escola Nacional de Administração Pública (Enap), que publicou um relatório intitulado “Capacidades Estatais para Produção de Políticas Públicas: Resultados do Survey sobre o Serviço Civil no Brasil”. Nesse relatório foi demonstrado que se pode testificar, a partir de diferentes tendências de padrões de atividades desenvolvidas pela burocracia federal, uma organização funcional de atuação dos burocratas (Enap, 2018).

As funções relativas a essa organização por frequência de atividades desempenhadas dizem respeito à: i) Função relacional, a qual envolve atividades de representação, negociação e coordenação; ii) função analítico/accountability, que abrange atividades relacionadas à operacionalização de base de dados e sistemas de informação conjugadas com demandas dos órgãos de controle; iii) função gerencial, que envolve tarefas técnicas de mobilização de recursos para lidar com contratos, convênios e prospecção de recursos; e iv) função administrativa, que lida com tarefas operacionais cotidianas (Enap, 2018). A partir disso, um achado importante do relatório foi o fato de haver na burocracia federal atores que desempenham atividades especialmente voltadas para a área analítica.

Apesar de esses achados encontrarem uma função especificamente voltada para o desenvolvimento de atividades que são reconhecidas como convencionalmente sistemáticas, há uma lacuna sobre as diferentes fontes de informações às quais a burocracia estatal brasileira recorre para produzir a política pública no desempenho de suas diferentes atividades, de suas diferentes funções. Nesse sentido, avançando a partir do que já vem sendo produzido, esta investigação destacou um número de características-chave do serviço público federal da administração direta que pode estar relacionado à recorrência de diferentes fontes de informação para uso de evidência na política pública. Apesar de esforços recentes problematizarem aspectos do processo da política pública relacionados às características dos servidores públicos federais (Lotta, Pires, & Oliveira, 2014; Cavalcante, Camões, & Knop, 2015; Freire, Viana, & Palotti, 2015; Cavalcante, Lotta, & Yamada, 2018), a relação entre uso de evidências (nas suas variadas fontes) e o perfil dos burocratas – nas suas características profissionais, funcionais e posicionais, áreas de política pública, e locus institucional/organizacional –, ainda carece de investigações.

A partir de um objetivo exploratório, as expectativas deste estudo foram que houvesse alguma configuração relacional quantitativa entre o tipo de fonte de informação, além da frequência de uso, e as seguintes variáveis: (1) Características profissionais do serviço civil da administração pública federal; (2) tipos de função na política pública; (3) diferentes órgãos da administração federal; (4) tipos de cargos na administração federal e (5) áreas de política pública.

É importante destacar que neste trabalho partiu-se do pressuposto de que há diferentes entendimentos sobre o que seja evidência, não somente na academia, mas também na burocracia, além de não haver um consenso sobre de onde tal evidência deveria proceder, podendo também, a depender de muitos fatores, ser julgada importante ou não (Hall & Jennings Jr., 2010; Montuschi, 2009). Diferentes naturezas de fontes de evidência foram consideradas, atendendo ao ambiente contextual específico da dinâmica da política pública no Brasil, no âmbito da burocracia, quais sejam: (1) Fontes de natureza analítica, (2) fontes de natureza normativa, (3) fontes de natureza adviser, (4) fontes de natureza beneficiária e (5) fontes de natureza midiática.

Diante do que foi exposto, o questionamento que norteou esta investigação foi: Quais fontes de evidências os burocratas do serviço civil da administração pública federal brasileira usam para a produção de políticas públicas?

Além desta introdução, o presente artigo está organizado da seguinte maneira: A segunda seção trata da discussão da literatura sobre o uso de evidências no processo de políticas públicas. Na terceira seção, metodológica, é descrita a fonte da base de dados à qual recorremos, além das técnicas estatísticas de análise de dados aplicadas. Na quarta seção são apresentados os resultados e as discussões sobre esses resultados, isto é, os tipos de evidências usados pelos burocratas federais brasileiros, considerando a organização destes conforme características demográficas, tipos de função na política pública que exercem, diferentes órgãos da administração federal nos quais atuam, tipos de cargos na administração federal a que pertencem e áreas de política pública nas quais atuam. Por fim, há uma seção de considerações finais.

2. A EVIDÊNCIA, A POLÍTICA PÚBLICA E A BUROCRACIA

A relação entre evidência, política pública e burocracia estatal parte da problematização sobre em quê os atores baseiam-se para desenvolver as políticas públicas – nos seus processos de formulação, implementação e avaliação. Mais especificamente, a literatura traz para o debate o papel da burocracia no uso de evidência, partindo do pressuposto de que a “formulação de políticas baseadas em evidência é a melhor maneira de tomar decisões plenamente compatíveis com um processo político democrático que se caracterize pela transparência e responsabilização” (Dargent, Lotta, Mejía-Guerra & Moncada, 2018, p. 1).

Esse pressuposto, aliás, reconfigurou a relação entre política pública, burocracia e evidência. Colebatch, Hoppe e Noordegraaf (2010) relatam que o “movimento de política” que surgiu nos Estados Unidos fez surgir um novo enquadramento de decisions experts ou de policy analysts – burocratas que foram treinados em cursos superiores, reivindicados com duas formas ligadas de expertise: “Uma era focada no problema – qual a natureza do problema que necessita ser resolvido, o que nós sabemos sobre ela, quais são as possibilidades de respostas – e analistas de políticas eram treinados para gerar dados sobre o problema, as respostas e o impacto que eles poderiam trazer” (op. cit., p.13). Sendo assim, pontuam os autores, o analista de políticas era considerado um conselheiro que clarificava problemas, identificava as alternativas e, sistematicamente, determinava a melhor resposta, comparando-se a um cientista de laboratório.

Veselý (2013) chama atenção para o fato de que, diferentemente da experiência anglo-saxônica, concepções tradicionais de “analistas de políticas” não são adequadas, uma vez que este termo não inclui todas as possibilidades de atuação em policy work, e pelo fato de, em alguns países, não haver esta posição de trabalho na burocracia pública. Acrescido a isso, Saguin et al. (2018) apontam que, mais recentemente, na área de pesquisa sobre o trabalho de políticas, vem aumentando significativamente as investigações sobre analistas e tecnocratas dentro da burocracia pública, concluindo que há diferentes atores envolvidos no processo de gerenciamento, coordenação e planejamento das políticas públicas, o que implica em uma distinção não muito clara entre os diferentes papéis desses diferentes atores e as dimensões envolvidas em policy work.

Uma dessas investigações diz respeito ao trabalho mais recente de Veselý (2017, p. 141, tradução livre), destacando que:

Por volta da virada do século XXI, muitos pesquisadores começaram a reconhecer que as práticas atuais de analistas de políticas são muito mais ricas e mais complexas que os textos sobre análise de política têm sugerido. Por esta razão, pesquisadores começaram a usar os termos policy work e policy workers. Embora tais pesquisadores não definam os termos precisamente, está claro, a partir do contexto, que policy work são atividades relacionadas à análise e elaboração de política pública, que requerem conhecimento específico e habilidades não limitadas àquelas estritamente científicas ou acadêmicas.

A partir disso, Saguin et al. (2018) defendem que, se a burocracia pública for considerada a partir de concepções tradicionais, é uma tendência que sobrevaloriza a capacidade que analistas de políticas públicas têm para desempenhar um trabalho analítico substantivo de política, assim como superestima a motivação de tomadores de decisão a usarem evidência. Por isso, trabalhos de natureza comparada já consideram o uso de evidências uma função entre muitas outras existentes.

No âmbito da pesquisa comparada,Veselý, Wellstead e Evans (2014) mostraram, ao comparar as atividades de políticas que desenvolvem a burocracia canadense e a tcheca, que há três padrões possíveis de atividades de políticas, combinando o resultado dos dois países: (1) Policy analysis work, (2) trabalho baseado em evidências e (3) consultas e instruções. A partir de tais padrões, chegam à conclusão de que os canadenses são mais voltados a desempenhar a análise e pesquisa, enquanto os tchecos possuem maior interesse por relações internas e externas.

Ainda nesse âmbito, Wellstead, Stedman e Lindquist (2009) descobriram, em momento anterior, que há dois maiores papéis relacionados a políticas públicas: Policy work, que julgaram contemplar atividades como coleta de dados, identificação de questões e soluções e networking, que envolvem atividades de negociação e consulta. Já Howlett (2009) julgou haver encontrado quatro tipos distintos de atividades de políticas: Avaliação de políticas (coleta de dados e pesquisa conduzida), implementação (entrega de políticas e programas e consulta e negociação), strategic brokerage (preparação de relatórios e consultas com tomadores de decisão) e avaliação (avaliação de processos e resultados de políticas).

Esses padrões de atividades de políticas são tratados na literatura como dimensões de capacidade de política. O uso de evidência na política pública enquadra-se no que os autores estão chamando recentemente de capacidade analítica ou capacidade analítica de política (Howlett, 2009), definida como a “habilidade de adquirir e utilizar conhecimento de política [...] que compreende habilidades básicas em identificar e coletar dados apropriados, aplicando métodos estatísticos, em comunicar questões sobre políticas que são relevantes para audiências específicas, e em integrar evidência à aprendizagem pública” (Saguin et al., 2018, p. 5, tradução livre). Para essa discussão, Wellstead, Stedman e Howlett (2011) defenderam que a combinação de fatores, tais como nível educacional, treinamento profissional, crenças e motivações pessoais, torna formativa a capacidade analítica na política pública.

É importante acrescentar que, além do desafio de conceituar quem sistematiza e usa a evidência científica na política pública, há de julgar sobre o que é ou de onde vem a evidência, a informação que subsidia a produção da política pública. Como exemplo, Hall e Jennings Jr. (2010) desenvolveram uma investigação em agências governamentais estadunidenses com o objetivo de identificar, em geral, em que medida o uso de informação científica é enfatizado em meio às buscas de informação por essas agências, a fim de subsidiar decisões políticas e práticas, além do objetivo de identificar se o uso dessas informações variava entre agências que tinham direcionamentos específicos de políticas. Os autores relatam que a partir do que compreendiam sobre o que era a evidência científica – “compreendida dos achados empíricos de estudos documentados devidamente, que seguem o método científico e que testa a validade de hipóteses e teorias específicas” (p. 138, tradução livre) –, concluíram que sobre o termo:

[...] o entendimento é mais fluido na prática da agência e nós reconhecemos que o que é considerado [evidência] depende da prática aceita, do contexto do problema e dos padrões de evidência que são sujeitos a mudar através do tempo. Como resultado, muitas agências têm práticas que têm sido rotuladas como baseadas em evidências, mas que não atendem a certos padrões; a qualidade da evidência é esperada a variar substancialmente de agência a agência (p. 138, tradução livre).

Ainda nesse estudo, além de sondarem sobre o que os atores das agências governamentais estadunidenses consideravam como evidência, Hall e Jennings Jr. (2010) levantaram a percepção dos mesmos sobre o quão importante eles consideravam as fontes de evidência formal, tais como estudos científicos e pesquisa de avaliação, como fontes de influência nas decisões das agências governamentais nas quais atuavam quando comparadas a outras fontes de informação. Evidência científica, bem como os resultados de avaliações formais de programas, concluíram os autores, é mais uma fonte informação (entre muitas) usada por agências públicas para o subsídio de decisões. No âmbito das agências sob investigação descobriram haver a crença de que há outras fontes aceitas, para além da evidência científica, que compete com o que se pode chamar de “entendimentos outros aceitos nas agências governamentais”, com diretivas políticas, com melhores práticas de avaliação de outras agências ou jurisdições, com avaliação interna, com demandas de cidadãos, com conselhos consultivos, com relatórios de think tanks, além de uma variedade de avaliações informais. Adicionalmente, os autores destacam que há também um amplo e diverso entendimento entre os administradores governamentais sobre o que constitui evidência na decisão de política.

Por fim, Hall e Jennings propuseram a interpretação de que a diferença de uso de fontes de informação no âmbito das agências governamentais pesquisadas poderia estar relacionada ao fato de que há fontes que são mais confortáveis de usar do que outras, que são facilmente disponíveis e úteis, sugerindo que a pesquisa formal pode ser complementada com estudos menos formais. A partir dessa interpretação, é importante destacar que os diferentes entendimentos sobre o que seja evidência, ou seja, a quais fontes de informação recorrer, podem ser justificados pelo fato de haver uma variedade de estilos analíticos de política ou prática de trabalho de política e que em diferentes governos, em diferentes níveis, bem como em diferentes agências governamentais, há diferentes estilos de identificar problemas públicos e de desenvolver estratégias de implementação para lidar com eles. Além disso, essas diferenças são notáveis quando se compara países desenvolvidos e em desenvolvimento, que é outro fator relevante (Saguin et al., 2018).

Neste debate, há ainda a necessidade de informar apropriadamente como a ampla prática baseada em evidência acontece na agência governamental, uma vez que, conforme problematiza Montuschi (2009), a evidência pode ser incerta, pode estar sujeita a diferentes interpretações, pode ser mal entendida, ou pode ser desafiada por valores concorrentes. Além disso, o autor argumenta que há contextos em que outras formas de evidência devem ser mais efetivas em alcançar certas conclusões, diferentemente do que pregam as defesas probabilísticas. Ao focar na qualidade da evidência, parece que duas questões cruciais relacionadas são negligenciadas: A relevância da evidência e sua efetividade.

Teorias probabilísticas de evidência esforçam-se para inserir graus de certeza em um pedaço de evidência. No entanto, isso é somente metade da história. Ao elaborar políticas, já sabemos que a evidência para uma conclusão política deveria tornar a tal conclusão provável; o que precisamos descobrir, por exemplo, são quais tipos de fatos tornam essa conclusão provável e sob que circunstâncias, ou o que os tornam relevantes para a conclusão à qual estão destinados a dar suporte. Além disso, nós também queremos estar aptos a ter novas evidências, que, embora não conclusivas ou altamente certas a um tempo particular, podem de fato atestar em favor de uma certa conclusão (Montuschi, 2009, p. 4, tradução livre).

Tendo esta discussão como base, Hall e Jennings Jr. (2010) descobriram que as fontes de informação consultadas variam de agência para agência, mais especificamente com o tipo de agência. Além disso, variam também no número de fontes de informação nas quais colocam ênfase na busca por evidências: Algumas se concentram em uma ou duas mais estritamente, enquanto que outras buscam em uma rede mais ampla de fontes disponíveis.

Apesar de haver algum desenvolvimento de estudos sobre o uso de evidências nas políticas públicas na experiência internacional, no Brasil há uma escassez de tais estudos. Como na literatura internacional, as pesquisas aqui realizadas em torno desse assunto, quando existentes, concentram-se nas temáticas de saúde e de educação, embora ainda não tenham o mesmo peso como no debate internacional. Dias, Barreto e Souza (2014), por exemplo, apontam que, apesar de as evidências serem consideradas importantes para a formulação de políticas de saúde, a utilização sistemática do resultado de pesquisas científicas ainda é incipiente, especialmente pela falta de capacidade de diálogo entre a gestão e a universidade, ocasionada, segundo os autores, pelas diferenças das atividades, dos interesses e da inserção dos profissionais nos processos de formulação, de implementação e de avaliação de políticas públicas.

No que diz respeito especificamente ao processo de formulação de políticas públicas no âmbito do governo federal, algumas iniciativas criadas ao longo dos últimos anos valorizam esta preocupação, como, por exemplo, a Secretaria de Avaliação e Gestão da Informação (SAGI) do Ministério da Cidadania^[i], a qual, criada em 2004, subsidia reflexões e avaliações referentes a políticas e programas sociais. Em relação às publicações sobre essa temática na literatura nacional, estudos que abordam a utilização de evidências são escassos e os que existem não discutem diretamente como os agentes da burocracia mobilizam evidências a fim de construírem alternativas e soluções aos problemas públicos.

O relatório recente da Escola Nacional de Administração Pública (Enap, 2018) sobre capacidades estatais para produção de políticas públicas demonstrou que, apesar da existência de 307 carreiras federais no Poder Executivo Federal, estas se organizam, no que diz respeito a sua atuação, a partir de quatro diferentes funções, quais sejam: i) Relacional, a qual envolve atividades de representação, negociação e coordenação; ii) analítico/accountability, que abrange atividades relacionadas à operacionalização de base de dados e sistemas de informação conjugados com demandas dos órgãos de controle; iii) gerenciamento de recursos, que envolve tarefas técnicas de mobilização de recursos para lidar com contratos, convênios e prospecção de recursos; e iv) administrativo, que lida com tarefas operacionais cotidianas. A partir disso, buscou-se identificar nessa investigação quais as fontes de evidências usadas pelos servidores que atuam nessas quatro funções de políticas públicas.

Assim, entende-se que o presente estudo, ao mostrar e diferenciar quais as fontes de evidências utilizadas pela burocracia do Serviço Civil do Poder Executivo Federal, contribui para um campo de análise ainda pouco explorado nacionalmente. Os dados na sequência deste artigo mostrarão em que medida a Burocracia do Serviço Civil do Poder Executivo Federal, em sua diversidade, usa diferentes fontes de informação de maneira também heterogênea.

3. METODOLOGIA

A pesquisa possui natureza exploratória e descritiva, no sentido de identificar quais fontes de evidências são usadas pelos burocratas do serviço civil da administração federal brasileira, a partir da categorização de tais sujeitos conforme (1) características demográficas, (2) tipos de função na política pública, (3) diferentes órgãos da administração federal, (4) tipos de cargos na administração federal e (5) áreas de política pública.

Os dados são referentes ao survey realizado pela Enap junto ao serviço civil da administração pública federal direta, que subsidiaram a pesquisa sobre capacidades estatais para a produção de políticas públicas. A base de dados tratada somou 2000 respostas válidas de servidores de diferentes órgãos que atuam em diferentes políticas públicas (Enap, 2018)^[ii].

Sobre a nossa variável de interesse, fontes de evidências, a pergunta escolhida do survey questiona sobre quais recursos informacionais os servidores usavam para atuar na política pública. A pergunta contemplava 10 tipos de fontes de informação, que podem ser organizadas em cinco naturezasdiferentes, que são:

1. 1. Fontes de natureza analítica
1. 1. 1. Dados estatísticos ou surveys
2. 1. 2. dados de monitoramento e avaliação da Política Pública
2. 2. fontes de natureza normativa
1. 2. 1. pareceres legais e decisões judiciais
2. 2. 2. recomendações e determinações dos órgãos de controle
3. 3. fontes de natureza adviser
1. 3. 1. recomendações de conferências e conselhos de política pública
2. 3. 2. opinião de especialistas e organismos internacionais
4. 4. fontes de natureza beneficiária
1. 4. 1. experiências ou opiniões de beneficiários da política pública
2. 4. 2. informações geradas por grupos de interesses
5. 5. fontes de natureza midiática
1. 5. 1. mídia social ou redes sociais
2. 5. 2. mídia tradicional.

Cada assertiva tinha como estrutura de resposta cinco escalas de tempo, em ordem crescente: Nunca, algumas vezes no ano, algumas vezes no mês, toda semana e todos os dias.

Para a categoria “características demográficas”, recorreu-se aos atributos “escolaridade” e “tempo na política pública”. Na categorização conforme os “tipos de função”, recorreu-se ao agrupamento de atividades por funções de política pública as quais foram geradas pela Análise Fatorial Exploratória desenvolvida na pesquisa realizada pela Enap (2018), que são: (1) Relacional; (2) Analítico/Accountability; (3) Gerencial; (4) Administrativo.

Para a categorização dos dados conforme “tipos de cargo”, recorreu-se às configurações do serviço público em nível de Direção de Assessoramento Superior (DAS-1 ao DAS-6), além dos níveis de Funções Comissionadas do Poder Executivo (FCPE-1 a FCPE-4). Para essa categoria, não foram considerados os não ocupantes nesses níveis.

Para a categorização conforme “áreas de política pública”, considerou-se a organização por áreas do Plano Plurianual (2016-2019), que são: Política Social, Políticas de Infraestrutura, Políticas de Desenvolvimento Produtivo e Ambiental, Política Econômica e Gestão Pública e Soberania e Território.

A análise exploratória foi construída a partir de ferramentas estatísticas descritivas e multivariadas. Em relação às ferramentas de estatística descritiva, recorreu-se às medidas de tendência central, como média e desvio padrão, que tratam da dispersão dos dados relativos às fontes de evidências utilizadas pelos burocratas do serviço civil na política pública. Além disso, foram utilizadas medidas de associação, valendo-se da correlação para observar a intensidade e a direção entre as fontes de evidências utilizadas e aos atributos da variável “características demográficas”, assim como da variável “tipo de cargo ocupado”.

Especificamente, os valores dos quatro fatores desenvolvidos pela análise fatorial no trabalho da Enap (2018) foram agrupados em classes, conforme seu histograma. Como os intervalos interquartílicos são considerados valores robustos, no sentido de que não são muito afetados por valores discrepantes (ou atípicos) para representar a distribuição dos dados em suas classes (Morettin & Bussad, 2010), foram usados para construção de níveis intrafunção, no intuito de perceber as distribuições do uso de fontes de evidências, considerando como uma subunidade de análise as distribuições intrafuncionais.

Por fim, recorreu-se à Análise de Correspondência Simples (ACS) para verificar a frequência com que os diferentes burocratas, de acordo com os órgãos do poder executivo nos quais atuavam, usam as diferentes fontes de evidências. A ACS possibilita “avaliar a significância da associação entre variáveis categóricas e entre suas categorias, gerar coordenadas das categorias e construir, a partir dessas coordenadas, mapas percentuais” (Fávero & Belfiore, 2015, p. 259).

Para avaliar a significância estatística entre as variáveis categóricas analisadas nesse estudo, tomou-se como referência a estatística qui quadrado (X²) para avaliar a aleatoriedade da distribuição das frequências das categorias de uma variável segundo as categorias da outra. O pressuposto foi atendido para todas as análises conforme pressupostos de Yelland (2010), sendo significativo estaticamente ao nível de 1%. As análises foram efetuadas por meio do Statistical Package for the Social Sciences (SPSS) versão 21.

4. RESULTADOS DA PESQUISA

As discussões dos resultados foram organizadas por categoria analítica. Primeiramente, analisou-se o uso de evidências tomando como categoria as características demográficas dos servidores. Em seguida, foram analisadas conforme o tipo de cargo ocupado pelos respondentes, conforme funções de políticas públicas que tipicamente praticam, conforme áreas de políticas públicas nas quais se encontravam e conforme os órgãos da administração nos quais atuavam.

4.1 O Uso de Evidências Conforme Características Profissionais e Conforme os Tipos de Cargos que Ocupam os Respondentes da Pesquisa

As respostas válidas dos 2000 respondentes após o tratamento da base de dados do survey sobre aspectos que versaram sobre a capacidade do estado para a produção de políticas públicas em 2017, desconsiderando os dados ausentes para a questão de interesse analisada neste estudo, afirmaram que, em média, fontes de natureza normativa, fontes de natureza analítica e fontes de natureza midiática (com destaque à mídia tradicional), são as mais consultadas, respectivamente. A Tabela 1 apresenta essas e outras informações sobre as fontes de evidências utilizadas no trabalho de política pública.

Sendo assim, há, por outro lado, menor recorrência, em média, de informações geradas por opiniões de especialistas e organismos internacionais, recomendações e/ou resoluções de conferências e conselhos de políticas públicas, informações geradas por grupos de interesses, bem como experiências ou opiniões de beneficiários das políticas públicas.

Este é um resultado que pode estar relacionado a inúmeros fatores. Algumas evidências apresentadas em outras partes do survey analisadas pela Enap (2018) apontaram que a burocracia brasileira permanece ainda muito autocentrada. Há desafios no que diz respeito às dimensões de capacidade relacional do serviço civil: Os servidores apontaram maior interação com seus próprios pares no governo federal, em detrimento dos atores e/ou organizações que poderiam gerar informações úteis para a atuação dos servidores no processo de produção de política pública. Além disso, a recorrência mais frequente, em média, às fontes de natureza normativa pode apontar para os efeitos da institucionalização dos órgãos de controle junto às inspeções das ações governamentais, bem como da crescente judicialização das políticas públicas no Brasil (Oliveira et al., 2015).

Tabela 1 - Estatística descritiva das fontes de evidências utilizadas no trabalho de política pública.

Fontes de Evidências	Medidas de Tendência Central		Medidas de Associação			N Válido^[iii]
	Média	Desvio Padrão	Escolaridade	Tempo na P. P	Nível de DAS
Dados estatísticos ou surveys	2,32	1,209	0,252**	-0,068**	0,049	1664
Dados de monitoramento e avaliação dos resultados das políticas públicas	2,38	1,199	0,136**	-0,089**	0,057	1685
Pareceres legais e decisões judiciais	2,65	1,303	0,050*	-0,070**	0,045	1730
Recomendações e determinações dos órgãos de controle	2,65	1,248	-0,029	-0,036	0,012	1730
Recomendações de conferências e conselhos de políticas públicas	2,10	1,108	0,123**	-0,059*	0,036	1631
Opinião de especialistas e organismos internacionais	2,04	1,114	0,297**	-0,046	0,019	1629
Experiências ou opiniões de beneficiários da política pública	2,18	1,142	0,148**	-0,083**	0,036	1635
Informações geradas por grupos de interesse	2,12	1,108	0,205**	-0,076**	0,057	1633
Mídia social ou redes sociais	2,39	1,410	0,057*	0,025	-0,002	1661
Mídia tradicional	2,63	1,426	0,141**	-0,011	0,046	1674
** A correlação é significativa no nível de 1%; * A correlação é significativa no nível de 5%.

Procurou-se entender, ademais, se o uso das diferentes fontes de evidências estava associado às características profissionais do servidor, a saber: Nível de instrução do servidor e tempo de trabalho na política pública. De acordo com o coeficiente de correlação Rô Spearman ( ), somente as recomendações e determinações produzidas por órgãos de controle não mostrou associação estatisticamente significativa ( -0,029, p = 0,235) com o nível de instrução do servidor, indicando associação oposta. Todas as demais fontes de evidências associaram-se estatisticamente pelo menos ao nível de 5% e no mesmo sentido. Portanto, o aumento do nível de instrução do servidor pode estar relacionado à intensidade de uso das diferentes fontes de evidências. Da mesma forma, quanto menor o grau de escolaridade, menor a perspectiva de o servidor recorrer a fontes de informações que podem gerar evidências na produção de política pública. Esse resultado pode apontar o que já é defendido pela literatura: A formação da capacidade analítica pode ser uma combinação do nível educacional, treinamento profissional, crenças e motivações (Wellstead et al., 2011).

Além da instrução, verificou-se se o tempo do servidor na política pública em relação à frequência de utilização das diferentes fontes de evidências. Com exceção da mídia social, que não apresentou nível de significância, todas as demais fontes caminham em sentidos opostos ao tempo do servidor na política pública. Ou seja, aumentando o tempo na política pública, há a indicação de menor recorrência do servidor no uso das fontes de evidências, assim como o inverso também é válido. No entanto, nem todas as opções mostraram significância estatística. Talvez essa questão esteja relacionada ao nível de especialização do servidor naquela função, que passa a recorrer de forma menos intensa às fontes de evidências, ocasionando desaprendizagem individual e organizacional com o afastamento de fontes de informação que poderiam gerar aprendizados e subsidiar o processo de trabalho.

Quando a análise é realizada centrando interpretações nos tipos de cargos, apesar de, em média, servidores que atuam em cargos mais elevados de direção recorrerem a diferentes fontes de evidência (Tabela 2), as correlações (Tabela 1) não apresentaram nenhum indicativo de associação estatística de forma significativa, que não permite fazer interpretações associativas estatisticamente sobre o aumento do nível do cargo ocupado e maior frequência na utilização de informações como evidências na produção de política pública e vice-versa^[iv].

Tabela 2 - Média de frequência de utilização fontes de evidências utilizadas no trabalho de política pública organizado pelo nível do Cargo de DAS ou Equivalente ocupado.

Fontes de Evidências	DAS-1	DAS-3	DAS-4	DAS-5	DAS-6	FCPE-1	FCPE-2	FCPE-3	FCPE-4
Dados estatísticos ou surveys	2,18	2,53	2,65	2,87	3,33	2,42	2,68	2,40	2,78
Dados de monitoramento e avaliação da política pública	2,40	2,48	2,80	2,93	2,88	2,61	2,77	2,59	3,00
Pareceres legais e decisões judiciais	2,58	2,73	2,96	3,10	3,25	3,00	2,92	3,02	3,09
Recomendações e determinações dos órgãos de controle	2,67	2,76	2,75	2,93	3,00	2,35	2,86	2,89	2,78
Recomendações de conferências e conselhos de política pública	1,98	2,19	2,45	2,48	2,25	1,96	2,21	2,28	2,41
Opinião de especialistas e organismos internacionais	1,74	2,03	2,48	2,48	3,11	1,77	2,21	2,02	2,35
Experiências ou opiniões de beneficiários da política pública	1,84	2,19	2,59	3,00	2,63	2,00	2,32	2,25	2,52
Informações geradas por grupos de interesse	1,71	2,09	2,58	2,74	3,00	2,13	2,03	2,12	2,52
Mídia social ou redes sociais	2,34	2,54	2,98	2,96	3,89	2,26	2,38	2,14	2,74
Mídia tradicional	2,44	2,76	3,27	3,61	4,44	2,73	2,83	2,59	3,30

Legenda: As maiores médias estão em escala de cor cinza em tons mais escuros e as menores, em tons mais claros.

Mesmo que não haja uma associação significativamente estatística entre o uso frequente de fontes de evidência e nível de cargo ocupado, as médias desagregadas por cargo apontam para algumas heterogeneidades. Dirigentes de alto escalão no nível DAS-6, diferentemente do que em média apresentaram os dados gerais (Tabela 1), recorrem com maior frequência às fontes de natureza midiática, principalmente à mídia tradicional, o que pode estar relacionado às atividades mais voltadas à política que exercem. Em média, a burocracia de médio escalão, mais especificamente DAS-4 e DAS-5, além da mídia, recorrem mais frequentemente aos pareceres legais e decisões judiciais e às experiências ou opiniões de beneficiários da política pública. No entanto, ainda permanece o padrão geral de frequência do uso de fontes de evidência, qual seja: Normativo, analítico e midiático.

4.2. O Uso de Diferentes Fontes de Evidência Conforme Funções de Políticas Públicas nas Quais Atuam os Respondentes da Pesquisa

Entendendo que atividades analíticas baseadas em evidências realizadas a partir de diferentes fontes de informação são parte de uma infinidade de atividades que existem na produção de política pública, é oportuno identificar em que medida os burocratas do serviço civil usam tais fontes de informação, do ponto de vista da natureza da função que exercem na política pública que, conforme já explicado, considerou o agrupamento de atividades que executam mais frequentemente. A distribuição dos respondentes nos quatro tipos de função de política pública indica pouca discrepância em sua dispersão, quando cada um analisado de forma agregada. A “função analítica” apresenta mediana superior em relação aos demais. A “função relacional” ficou no intervalo entre -2,46, mínimo, e 2,83, máximo. A “analítica” foi de -2,86 a 2,71, a “gerencial”, de -2,15 a 3,05, e “administrativo”, de -3,46 a 2,68. O Fator Gerencial apresentou alguns scores acima do Limite inferior, o que pode indicar que alguns respondentes se distanciam moderadamente dos intervalos interquartis. Ou seja, podem se situar em scores mais altos das funções identificadas. Essa questão pode estar relacionada ao grau de instrução, atividades desenvolvidas e/ou cargo ocupado dentro da política pública.

Apesar de haver pouca dispersão na distribuição dos que exercem tais funções quando analisadas de forma agregada, os dados apresentados na Tabela 3, filtrando a relação dessa distribuição com a frequência de uso das diferentes fontes de evidências, não apontam à mesma homogeneidade. Representados por uma escala em tons de cinza, no fator “relacional”, quadrante (Q4), as maiores médias de utilização foram para as fontes de informação oriundas das mídias tradicional e social, seguidas por dados estatísticos ou surveys, dados de monitoramento e avaliação de políticas públicas e das informações geradas por grupos de interesse.

No fator “analítico”, no quadrante mais alto, situam-se os usuários mais recorrentes, em média, do uso das fontes de evidências de natureza normativa. Será que os servidores classificados nesse quadrante são aqueles responsáveis por atender as demandas de controle e, por consequência, recorrem mais a essas fontes de evidências? Da mesma forma, os que exercem atividades que formam o fator “gerencial” também recorrem a fontes de evidências de natureza normativa, além de fontes de natureza analítica, especialmente a dados de monitoramento e avaliação de políticas públicas, padrão que se repete na função “administrativo” para os quadrantes mais elevados.

As fontes de evidências menos utilizadas, quando observados todos os quadrantes (médias em tonalidades mais claras na cor cinza), são aquelas vindas das conferências e conselhos de políticas públicas, das opiniões de especialistas e organismos internacionais, dos beneficiários das políticas públicas, bem como daquelas geradas por grupos de interesse. Especificamente, essas fontes de evidências são aquelas menos utilizadas por aqueles servidores nos quadrantes mais baixos das funções de políticas públicas. Talvez essas questões estejam relacionadas à posição na qual o servidor se encontra na estrutura hierárquica, ou pode também ter conexão com o tipo de trabalho realizado.

Tabela 3 - Média de frequência de utilização das fontes de evidências organizado por tipo de função na política pública.

Fontes de Evidências	Relacional				Analítico				Gerencial				Administrativo
	Q1	Q2	Q3	Q4	Q1	Q2	Q3	Q4	Q1	Q2	Q3	Q4	Q1	Q2	Q3	Q4
Dados estatísticos ou surveys	1,64	2,13	2,49	2,93	1,86	2,36	2,43	2,57	2,53	2,03	2,15	2,49	2,24	2,40	2,34	2,24
Dados de monitoramento e avaliação da política pública	1,84	2,21	2,51	2,89	1,77	2,28	2,59	2,82	2,37	2,02	2,26	2,79	2,28	2,42	2,41	2,36
Pareceres legais e decisões judiciais	2,31	2,56	2,65	2,82	1,90	2,40	2,75	3,28	2,72	2,39	2,40	2,83	2,49	2,40	2,68	2,79
Recomendações e determinações dos órgãos de controle	2,45	2,69	2,58	2,61	1,89	2,45	2,70	3,29	2,58	2,39	2,42	2,95	2,40	2,47	2,56	2,91
Recomendações de conferências e conselhos de políticas públicas	1,62	1,91	2,12	2,64	1,74	2,06	2,19	2,34	2,09	1,83	1,98	2,42	1,93	2,12	2,12	2,17
Opinião de especialistas e organismos internacionais	1,35	1,81	2,18	2,75	1,90	2,12	2,06	2,06	2,05	1,81	2,01	2,24	1,89	2,11	2,13	2,00
Experiências ou opiniões de beneficiários da política pública	1,54	1,99	2,26	2,88	1,88	2,13	2,30	2,39	2,21	1,84	2,08	2,54	1,95	2,22	2,27	2,26
Informações geradas por grupos de interesse	1,46	1,87	2,20	2,89	1,92	2,18	2,13	2,21	2,15	1,83	2,10	2,34	1,91	2,18	2,26	2,10
Mídia social ou redes sociais	1,79	2,15	2,48	2,96	2,15	2,46	2,40	2,40	2,39	2,07	2,34	2,57	2,12	2,32	2,45	2,49
Mídia tradicional	1,92	2,38	2,77	3,33	2,42	2,70	2,61	2,71	2,75	2,34	2,56	2,76	2,42	2,71	2,67	2,62

Legenda: As maiores médias estão em escala de cor cinza em tons mais escuros e as menores, em tons mais claros.

4.3. O Uso de Diferentes Fontes de Evidências Conforme as Áreas de Política Pública nas Quais Atuam os Respondentes da Pesquisa

Sem perceber nenhuma novidade na distribuição das médias quando analisadas por áreas de política pública, algumas considerações podem ser realizadas. Os servidores das áreas de política social, de infraestrutura e política econômica e gestão pública mais frequentemente usam como fonte de evidência as informações de natureza normativa e menos recomendações de conferências e conselhos de políticas públicas, de opinião de especialistas e organismos internacionais, de experiência ou opinião de beneficiários e de grupos de interesse.

Tabela 4 - Média de frequência de utilização fontes de evidências utilizadas pelo serviço civil organizado áreas de políticas públicas.

Fontes de Evidência	Política Social	Políticas de Infraestrutura	Desenvolvimento Produtivo e Ambiental	Política Econômica e Gestão Pública	Soberania e Território
Dados estatísticos ou surveys	2,43	2,30	2,45	2,57	2,35
Dados de monitoramento e avaliação da política pública	2,53	2,59	2,35	2,51	2,20
Pareceres legais e decisões judiciais	2,75	2,80	2,37	3,15	2,63
Recomendações e determinações dos órgãos de controle	2,72	2,84	2,44	3,15	2,52
Recomendações de conferências e conselhos de política pública	2,22	2,33	2,08	2,24	2,01
Opinião de especialistas e organismos internacionais	2,06	2,09	2,22	2,01	2,42
Experiências ou opiniões de beneficiários da política pública	2,26	2,21	2,29	2,27	2,22
Informações geradas por grupos de interesse	2,08	2,25	2,43	2,13	2,33
Mídia social ou redes sociais	2,47	2,44	2,42	2,38	2,52
Mídia tradicional	2,58	2,89	2,71	2,68	2,92
N	554	153	401	145	149

Legenda: As maiores médias estão em escala de cor cinza em tons mais escuros e as menores, em tons mais claros.

No âmbito da política social e da política de infraestrutura, mais especificamente problematizando esta última área de política, Gomide e Pereira (2018) levantaram debate que pretendeu examinar os condicionantes institucionais (políticos e administrativos) do investimento em infraestrutura no Brasil. Nesse debate, ao apresentarem discussões na literatura sobre processos decisórios no setor, especificamente no que alcança questões de planejamento e seleção de projetos, apontaram que etapas críticas nesse contexto seriam ações relacionadas à (i) elaboração de estudos formais de viabilidade que irão embasar a decisão final sobre o início das obras, (ii) a comparação de possíveis projetos antes da escolha de um empreendimento específico, (iii) o mapeamento de riscos ambientais e sociais, (iv) o reconhecimento de stakeholders: “Essas ações são extremamente importantes para evitar a ocorrência de eventos inesperados na fase de implementação e para garantir que o escolhido seja a melhor opção para atender aos objetivos governamentais” (op. cit., p. 20).

Além disso, ajudando a entender no processo de institucionalização da participação no processo de políticas públicas, mesmo havendo uma disseminação de integração socioestatal pela administração pública, há uma mobilização das instituições participativas que ocorre de maneira heterogênea. Gomide e Pereira (2018) destacam que enquanto o setor de promoção e proteção social recorre predominantemente como fonte de informação aos conselhos de política pública, a área de infraestrutura recorre a audiências públicas para levantar informações junto à sociedade civil. Além disso, as fontes de natureza adviser têm suas diferenças de importância: Conselhos gestores são permanentes em todo o processo de política pública enquanto que as audiências são temporariamente pontuais, de natureza meramente informativa e de ratificação das decisões do governo.

No entanto, os dados da Tabela 4 mostram que, comparado às outras fontes, as que são de natureza adviser e beneficiária são as menos recorridas. Concorda-se com Gomide e Pereira (2018) no sentido de que uma das explicações da crescente judicialização dessas políticas está na pouca transparência e baixa abertura participativa em seus processos de decisão, além da ausência de canais de participação entre a burocracia e os afetados pelas políticas que implementam, implicando que múltiplas racionalidades deveriam ser consideradas no processo, não apenas a técnica, condição, aliás, que pode fazer parte da explicação para as outras áreas de políticas.

4.4. O Uso de Diferentes Fontes de Evidência Conforme os Órgãos da Administração Federal nos Quais Atuam os Respondentes da Pesquisa

Por fim, neste nível de análise, é importante destacar algumas especificidades que os dados muito agregados não permitem observar. Os agrupamentos dos diferentes órgãos, por meio da técnica de análise de correspondência, em torno das frequências de uso das diferentes fontes de evidência, mostram as suas próprias heterogeneidades.

Figura 2 - Gráfico de correspondência entre órgãos da administração federal direta e fontes de evidência de natureza analítica e normativa.
Fonte: Dados da Pesquisa, 2019.

A Figura 2, assim como as Figuras 3 e 4, organiza os órgãos nos quais atuam os respondentes da pesquisa por proximidade de frequência de uso das fontes de natureza analítica e normativa. O tracejo em verde agrupa os órgãos que recorrem “algumas vezes no mês”, “toda semana” e “todos os dias”, enquanto que o tracejo em vermelho agrupa os órgãos que se aproximam das frequências “nunca” e “algumas vezes no ano”. É evidente que, dentro da mesma natureza de fonte de evidência, há diferentes configurações de agrupamentos.

Na natureza analítica, entre os que mais frequentemente recorrem aos dados estatísticos e surveys, estão os servidores do Ministério do Turismo, do Ministério da Educação, do Ministério das Relações Exteriores, do Ministério da Defesa e do Ministério do Desenvolvimento Social. Entre os que usam mais recorrentemente dados de monitoramento e avaliação estão agrupados os servidores do Ministério da Integração e do Ministério da Transparência (toda semana/algumas vezes no mês), e o Ministério das Cidades, Ministério da Educação e Ministério do Desenvolvimento Social (toda semana).

Conforme era esperado, a maioria dos órgãos recorre frequentemente às fontes de natureza normativa. Recorrência às demandas de órgãos de controle são maiores quando comparadas às recorrências de pareceres legais e decisões judiciais. Nesse caso, os destaques estão para os que quase nunca recorrem a pareceres legais e decisões judiciais, quais sejam o Ministério da Defesa e o Ministério da Saúde, entre outros, e a recomendações de órgãos de controle, Ministério das Relações Exteriores, Ministério da Indústria, Ministério da Ciência e Secretaria de Governo da Presidência pouco recorrem a essas fontes de evidência. A surpresa nesse resultado está no fato de a política de saúde ser uma área reconhecidamente judicializada no Brasil. Então, por que servidores do Ministério da Saúde tendem a nunca recorrer a pareceres legais e decisões judiciais? Possivelmente há duas respostas, que precisam ser testadas por outras pesquisas, para tal resultado: Judicialização da política de saúde pode não estar relacionada, necessariamente, ao uso frequente de decisões judiciais (ao menos em nível federal); outra possível resposta que pode estar relacionada a esse resultado não esperado diz respeito à possibilidade de os respondentes da pasta ao survey não desempenharem atividades que estejam relacionadas ao uso desse tipo de fonte de informação. Um estudo de caso mais aprofundado poderia verificar a validade das respostas propostas.

Na Figura 2, que demonstra a frequência de uso de fontes, em geral, que são menos recorridas (adviser e beneficiária), há servidores dos órgãos da administração federal que frequentemente usam como fonte de evidência na política pública recomendações e/ou resoluções de conferências e conselhos, que são: Ministério de Minas e Energia, Ministério da Justiça, Ministério dos Transportes, Ministério do Desenvolvimento Social, Ministério da Educação e Ministério dos Direitos Humanos.

Em relação à recorrência às opiniões de especialistas e organismos internacionais, conforme natureza da atuação do próprio órgão, o Ministério das Relações Exteriores é o que se aproxima do uso diário. Além dele, outros órgãos que pela natureza de suas atividades ou necessidade de maior articulação têm um desenvolvimento relacional mais internacionalizado, que são: Ministério da Ciência e Tecnologia, Ministério da Indústria e Comércio Exterior, Casa Civil da Presidência da República e Ministério do Meio Ambiente. Este resultado pode apontar para a baixa internacionalização do Poder Executivo.

Figura 3 - Gráfico de correspondência entre órgãos da administração federal direta e fontes de evidência de natureza “adviser” e beneficiária.
Fonte: Dados da Pesquisa, 2019.

Ainda na Figura 3, a recorrência às experiências ou opiniões de beneficiários dividiu o quantitativo de órgãos da administração federal direta pesquisado. A maioria dos servidores das pastas finalísticas frequentemente usa essa fonte de evidência. É importante que se problematize o que os servidores de cada órgão consideram como sendo o beneficiário. Provavelmente, os respondentes do Gabinete de Segurança Institucional têm um beneficiário diferente do beneficiário que consideram ser os respondentes do Ministério da Indústria e Comércio Exterior, que também se diferenciam do beneficiário que consideram os servidores do Ministério do Meio Ambiente. Essa diferenciação aponta para a probabilidade de haver diferentes dificuldades a recorrer, com muita frequência, a esse tipo de fonte de informação como evidência.

Quanto à recorrência de fontes de evidências que vêm de informações de natureza midiática (Figura 4), mesmo que as análises anteriores tenham mostrado uma recorrência frequente pelos servidores civis, em geral, essa recorrência é pontual. Ministério da Educação, Ministério das Relações Exteriores, Ministério do Turismo, Ministério da Saúde, Ministério da Defesa e Ministério da Cultura mais frequentemente recorrem à mídia social ou redes sociais. Quanto à recorrência à mídia tradicional, uma parcela significativa quase não usa a mídia tradicional como fonte de informação. Há um destaque para o Ministério das Relações Exteriores e Ministério de Minas e Energia, que se aproximaram da recorrência diária a essa fonte.

Figura 4 - Gráfico de correspondência entre órgãos da administração federal direta e fontes de evidência de natureza midiática.
Fonte: Dados da Pesquisa, 2019.

Neste rol de análises por órgão, um que chama atenção pela sua baixa recorrência a quase todas as fontes de evidências aqui investigadas é o Ministério da Saúde, que, do ponto de vista histórico, é um dos órgãos que se responsabiliza por uma das políticas sociais mais institucionalizadas desde a redemocratização, do ponto de vista dos arranjos, da capilarização de sua estrutura administrativa e diversificação de pontos decisórios com a sociedade civil, academia e grupos interessados (Machado & Baptista, 2012; Viana & Silva, 2012).

Estudos recentes, ao discutirem sobre a consolidação da Rede para Políticas Informadas por Evidências no Brasil, uma iniciativa da Organização Mundial da Saúde, com o objetivo de incentivar o uso de evidências científicas na formulação e implementação de políticas, programas e serviços de saúde, na promoção de intercâmbios entre gestores, pesquisadores e sociedade civil, apontam que, apesar das atividades e institucionalização da rede, o uso sistemático de evidências no Ministério da Saúde segue distante (Souza et al., 2013; Wichmann, Carlan, & Barreto, 2016).

5. CONSIDERAÇÕES FINAIS

Esta investigação objetivou identificar quais fontes de evidências os burocratas do serviço civil da administração pública federal direta brasileira recorrem para a produção de políticas públicas. A partir do diálogo com um crescente número de estudos que tendem a enfatizar a importância do desenho de políticas públicas baseado em evidências, o texto buscou mostrar a heterogeneidade desta utilização no interior da burocracia federal no contexto brasileiro.

Conforme levantado, na literatura internacional há um número crescente de estudos que têm debatido a importância do uso de evidências no processo de políticas públicas (Colebatch et al., 2010; Saguin et al., 2018). Em geral, essas pesquisas têm chamado atenção para a figura do policy analysts, os quais, em alguns países, assumem o papel de consultores, responsáveis pela clarificação dos problemas e pelo levantamento das possíveis alternativas para a resolução destes.

No Brasil, no âmbito do Poder Executivo Federal, não há carreiras que tenham essa característica como a principal atuação, dada a diversidade de atuação destas (Enap, 2018). Além disso, no que diz respeito à literatura nacional, ainda são poucos os estudos no Brasil que focam diretamente como os agentes estatais usam evidências no processo de produção das políticas públicas. Esses trabalhos, quando existentes, refletem sobre áreas específicas, notadamente as de Saúde e de Educação. Por essa razão, afirmou-se que os achados deste artigo contribuem para a consolidação de um campo de reflexão ainda em construção no país.

Os resultados do estudo mostraram, de modo geral, uma baixa frequência de uso das fontes de evidências pelos burocratas do serviço civil da administração pública federal direta na produção de políticas públicas. Quando utilizadas, as mais frequentes são aquelas de fontes de natureza normativa, analítica e midiática. Por sua vez, as advisers, juntamente com as fontes de natureza beneficiária, foram as menos utilizadas pelo serviço civil.

Observou-se que a utilização das informações está associada estatisticamente com grau de instrução do servidor e com o tempo de atuação na política pública. Essa associação indicou, entretanto, que um maior tempo de atuação no serviço público está associado a um menor uso de fontes de evidências na política pública, situação que merece mais aprofundamento analítico para averiguar se, de fato, guardaria relação com a especialização do servidor ou a um autocentrismo da burocracia, a qual se vale de suas próprias fontes de evidências sem abertura para outras fontes externas, como organismos internacionais, academia, beneficiários das políticas públicas, entre outros.

Considerando todas as unidades analíticas que aqui foram trabalhadas para identificar as fontes de variação do uso de diferentes fontes de evidências na política pública, em geral os resultados apontam para o que Hall e Jennings Jr. (2010) já destacaram: Fontes de evidências científicas e resultados de avaliações formais de políticas são fontes que subsidiam a tomada de decisão. No Brasil, além disso, o tipo e o nível de recorrência às fontes também vêm de outras que não são convencionalmente reconhecidas como as que são produzidas no âmbito acadêmico. Conforme foi achado, a heterogeneidade do uso de diferentes fontes de informação para atuar na política pública pode estar relacionada ao nível de instrução dos burocratas, da posição que esses atores tomam na hierarquia burocrática, da área de política pública na qual se encontram, do tipo de função que exercem e do órgão no qual estão inseridos, que também pode estar relacionado a uma percepção do que eles entendem por ser evidência e de onde ela deveria partir (Montuschi, 2009; Saguin et al., 2018; Veselý, 2017; Wellstead et al., 2009).

Pode-se considerar a partir da natureza das dificuldades do próprio instrumento survey, que possui limitações relacionadas à compreensão dos enunciados das questões, do tipo de escala adotado, do fornecimento ou não das respostas, das percepções dos respondentes, entre outras, as próprias limitações deste estudo. Além disso, esta investigação é restrita ao serviço civil federal da administração direta, o que não permite a sua generalização para todo o universo do serviço civil dos demais poderes e níveis de governo da federação.

No entanto, é importante ressaltar que o estudo, de natureza exploratória, levanta questões relevantes sobre quais tipos de evidências a burocracia federal usa no processo de produção de políticas públicas, mostrando-se inovador, uma vez que não há publicações no Brasil que abordem essas diferenças, principalmente a partir de diversos cruzamentos – áreas de políticas públicas, órgãos, cargos em comissão ocupados (Enap, 2018).

Por fim, ao trazer esses dados, compreende-se que os achados contribuem para a abertura a uma agenda de pesquisa ao começar a preencher uma lacuna na literatura nacional, sobretudo a que se refere ao papel desempenhado pela burocracia federal e os tipos de informações usadas no processo de produção de políticas públicas.

Referências

Buchanan, R. Wicked Problems in Design Thinking. 1992. Disponível em: http://www.jstor.org/stable/1511637 Acesso em 25 de julho de 2019.

Cavalcante, P., Camões, M., & Knop, M. (2015). Burocracia de Médio Escalão nos Setores Governamentais: Semelhanças e Diferenças. In Cavalcante, P., & Lotta, G. (Orgs.), Burocracia de Médio Escalão: perfil, trajetória e atuação. (pp. 57-88). Brasília: ENAP.

Cavalcante, P., Lotta, G., & Yamada, E. (2018). O desempenho dos burocratas de médio escalão: determinantes do relacionamento e suas atividades. EBAPE.BR, 16(1), 14-34.

Colebatch, H. K., Hoppe, R., & Noordegraaf, M. (2010). Understanding Policy Work. In H. K. Colebatch, R. Hoppe, & M. Noordegraaf (Eds.), Working for policy (pp. 11–30). Amsterdam: Amsterdam University Press.

Dargent, E., Lotta, G., Mejía-Guerra, J. A., & Moncada, G. (2018). A quem importa saber: A economia política da capacidade estatística na América Latina. (E. Dargent, G. Lotta, J. A. Mejía-Guerra, & G. Moncada, Eds.). Whashington D.C: Banco Interamericano de Desenvolvimento. Retrieved from https://publications.iadb.org/en/who-wants-know-political-economy-statistical-capacity-latin-america.

Davies, H. T. O., Nutley, S. M., & Smith, PC. (Eds.) (2000). What works? Evidence-based Policy and Practice in Public Services. Policy Press.

Dias, R. I., Barreto, J. O. M., & Souza, N. M. (2014). Desenvolvimento atual da Rede de Políticas Informadas por Evidências (EVIPNet Brasil): relato de caso. Revista Panamericana de Salud Pública, 36(1), 50–56.

Enap. (2018). Capacidades estatais para produção de políticas públicas: resultados do survey sobre serviço civil no Brasil. Cadernos Enap, 56, 74.

Fávero, L. P., & Belfiore, P. (2015). Análise de dados: modelos de regressão com Excel, Stata e SPSS (Vol. 1). Rio de Janeiro: Elsevier Brasil.

Figueiredo Filho, D. B., & Silva Júnior, J. A. (2010). Visão além do alcance: uma introdução à análise fatorial. Opinião Pública, 16(1), 160–185. http://doi.org/10.1590/S0104-62762010000100007

Freire, A., Viana, R., & Palotti, P. (2015). Influência Sobre o Processo Decisório: O Que Explica o Protagonismo da Burocracia Federal de Médio Escalão? In Cavalcante, P., & Lotta, G. (Orgs.), Burocracia de Médio Escalão: perfil, trajetória e atuação. (pp. 91-114). Brasília: ENAP.

Gomide, A. de Á., & Pereira, A. K. (2018). Os Desafios da governança da política de infraestrutura no Brasil: aspectos políticos e administrativos da execução do investimento em projetos de grande vulto. In A. Á. Gomide & A. K. Pereira (Eds.), Governança da política de infraestrutura: condicionantes institucionais ao investimento (pp. 13–34). Rio de Janeiro: Instituto de Pesquisa Econômica Aplicada (Ipea).

Hall, J. L., & Jennings Jr, E. T. (2010). Assessing the use and weight of information and evidence in US state policy decisions. Policy and Society, 29(2), 137–147.

Howlett, M. (2009). Policy analytical capacity and evidence‐based policy‐making: Lessons from Canada. Canadian Public Administration, 52(2), 153–175.

Lotta, G. S., Pires, R. R. C., & Oliveira, V. E. (2014). Burocratas de médio escalão: novos olhares sobre velhos atores da produção de políticas públicas. Revista do Serviço Público, 65(4), 463-492.

Machado, C. V., & Baptista, T. W. F. (2012). A Agenda Federal da Saúde: dinâmica e prioridades. In C. V. Machado, T. W. F. Baptista, & L. D. Lima (Eds.), Políticas de Saúde no Brasil: continuidades e mudanças (pp. 149–171). Rio de Janeiro: Editora FIOCRUZ.

Montuschi, E. (2009). Questions of evidence in evidence-based policy. Axiomathes, 19(4), 425.

Morettin, P. A., & Bussad, W. O. (2010). Estatística básica (6th ed.). São Paulo: Editora Saraiva.

Oliveira, M. R. M., Delduque, M. C., Sousa, M. F., & Mendonça, A. V. M. (2015). Judicialização da saúde: para onde caminham as produções científicas? Saúde Em Debate, 39(105), 525–535.

Saguin, K., Ramesh, M., & Howlett, M. (2018). Policy work and capacities in a developing country: evidence from the Philippines. Asia Pacific Journal of Public Administration, 40(1), 1–22. http://doi.org/10.1080/23276665.2018.1436427

Souza, N. M., Barreto, J. O. M., Alves, M. S. N., & Abdala, C. V. (2013). Evidência na gestão: relato da rede de políticas informadas por evidências Brasil. ANAIS DO CBMFC, (12), 179.

Veselý, A. (2013). Conducting large-N surveys on policy work in bureaucracies: Some methodological challenges and implications from the Czech Republic. Central European Journal of Public Policy, 7(2), 88–113.

Veselý, A. (2017). Policy advice as policy work: A conceptual framework for multi-level analysis. Policy Sciences, 50(1), 139–154.

Veselý, A., Wellstead, A., & Evans, B. (2014). Comparing sub-national policy workers in Canada and the Czech Republic: Who are they, what they do, and why it matters? Policy and Society, 33(2), 103–115.

Viana, A. L. d’Ávila, & Silva, H. P. (2012). Desenvolvimento e Institucionalidade da Política Social no Brasil. In C. V. Macho, T. W. F. Baptista, & L. D. Lima (Eds.), Políticas de Saúde no Brasil: continuidades e mudanças (pp. 31–60). Rio de Janeiro: Editora FIOCRUZ.

Wellstead, A. M., Stedman, R. C., & Howlett, M. (2011). Policy Analytical Capacity in Changing Governance Contexts: A Structural Equation Model (SEM) Study of Contemporary Canadian Policy Work. Public Policy and Administration, 26(3), 353–373. http://doi.org/10.1177/0952076710381933

Wellstead, A., Stedman, R. C., & Lindquist, E. (2009). The nature of regional policy work in Canada’s public service. Canadian Political Science Review, 3(1), 34–56.

Wichmann, R., Carlan, E., & Barreto, J. O. M. (2016). Consolidação da Rede para Políticas Informadas por Evidências – EVIPNet Brasil: relato da experiência nacional de construção de uma plataforma de tradução do conhecimento para o SUS. Boletim do Instituto de Saúde, (17).

Yelland, P. M. (2010). An introduction to correspondence analysis. The Mathematica Journal, 12(1), 86–109.

Notas

[i] A SAGI, criada em 2004 durante a gestão petista dentro do antigo Ministério do Desenvolvimento Social (MDS), permanece ativa dentro do novo Ministério (Ministério da Cidadania), a partir da nova estrutura ministerial do novo governo. Para saber mais, ver o decreto N. 9674, de 02 de janeiro de 2019, que aprova a nova estrutura regimental do então criado Ministério da Cidadania.

[ii] É importante informar que esta pesquisa esteve na limitação de apresentar os resultados conforme a organização do Poder Executivo à época da aplicação do surveys e da análise produzida para o relatório desenvolvido pela Escola Nacional de Administração Pública (Enap, 2018).

[iii] Observação: “n” válido é o número de respostas completas, desconsiderando os dados ausentes de um total de 2000 respondentes da pesquisa objeto deste estudo.

[iv] É importante destacar que, para todas as associações realizadas, a intensidade do valor das correlações foi baixo, inferior a 0,30, que pode ser considerado fraco (Figueiredo Filho & Silva Júnior, 2010).

HMTL gerado a partir de XML JATS4R por