{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Cruzamento de dois conjuntos de dados públicos para deduzir a quantidade e os custos com os funcionários das Autarquias, Fundações e Empresas do Governo do Estado de São Paulo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Elaboração: Observatório do Ciclo de Planejamento e Gestão do Governo do Estado de São Paulo <br />\n",
    "Data: 21-nov-2016 (v1), 13-jan-2017 (v2) <br />\n",
    "Mais informações: http://aeppsp.org.br/observatorio-ciclo-planejamento-gestao/ <br />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Conjuntos de dados: <br />\n",
    "A. Remuneração Mensal de Servidores e Empregados Públicos - Administração Direta e Indireta <br />\n",
    "C. Relação de Funcionários - Administração Indireta <br />\n",
    "Mais informações: http://aeppsp.org.br/observatorio-ciclo-planejamento-gestao/140-mapa-da-mina-recursos-humanos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Trata e consolida os arquivos do conjunto de dados 'C. Relação de Funcionários - Administração Indireta':"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "pd.set_option('display.max_rows', 5000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def clean_df(df, nat_jur):\n",
    "    df_tmp = df.copy()\n",
    "    filtro = ((df_tmp.loc[:, 'UNIDADE DE TRABALHO'].isnull()) &\n",
    "              (df_tmp.loc[:, 'ÓRGÃO - DESTINO DE AFASTAMENTO'].isnull()) &\n",
    "              (df_tmp.loc[:, 'CARGO PERMANENTE'].isnull()) &\n",
    "              (df_tmp.loc[:, 'AFASTADO P/ OUTROS ÓRGÃOS'].isnull()))\n",
    "    df_tmp.loc[filtro, 'nome_orgao'] = df_tmp.loc[filtro, 'NOME']\n",
    "    df_tmp.nome_orgao = df_tmp.nome_orgao.fillna(method='ffill')\n",
    "    df_tmp = df_tmp.loc[~filtro]\n",
    "    df_tmp = df_tmp.loc[~df_tmp['UNIDADE DE TRABALHO'].apply(lambda x: isinstance(x, int))]\n",
    "    df_tmp['nat_juridica'] = nat_jur\n",
    "    return df_tmp"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df_autarquia = pd.read_excel('inputs/ConsultaEmpregados-Autarquias.xls', skiprows=1)\n",
    "df_fundacao = pd.read_excel('inputs/ConsultaEmpregados-Fundacoes.xls', skiprows=1)\n",
    "df_empresa = pd.read_excel('inputs/ConsultaEmpregados-Empresas.xls', skiprows=1)\n",
    "\n",
    "df_autarquia_c = clean_df(df_autarquia, 'Autarquia')\n",
    "df_fundacao_c = clean_df(df_fundacao, 'Fundação')\n",
    "df_empresa_c = clean_df(df_empresa, 'Empresa')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df = pd.concat([df_autarquia_c, df_fundacao_c, df_empresa_c], ignore_index=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df.NOME = df.NOME.str.upper()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df.to_pickle('tmp/funcionarios_indireta.pickle')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = pd.read_pickle('tmp/funcionarios_indireta.pickle')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "112587"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 112587 entries, 0 to 112586\n",
      "Data columns (total 8 columns):\n",
      "NOME                              112587 non-null object\n",
      "CARGO PERMANENTE                  106808 non-null object\n",
      "CARGO OU FUNÇÃO EM COMISSÃO       15346 non-null object\n",
      "UNIDADE DE TRABALHO               112512 non-null object\n",
      "AFASTADO P/ OUTROS ÓRGÃOS         112587 non-null object\n",
      "ÓRGÃO - DESTINO DE AFASTAMENTO    1685 non-null object\n",
      "nome_orgao                        112587 non-null object\n",
      "nat_juridica                      112587 non-null object\n",
      "dtypes: object(8)\n",
      "memory usage: 6.9+ MB\n"
     ]
    }
   ],
   "source": [
    "df.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NOME</th>\n",
       "      <th>CARGO PERMANENTE</th>\n",
       "      <th>CARGO OU FUNÇÃO EM COMISSÃO</th>\n",
       "      <th>UNIDADE DE TRABALHO</th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "      <th>ÓRGÃO - DESTINO DE AFASTAMENTO</th>\n",
       "      <th>nome_orgao</th>\n",
       "      <th>nat_juridica</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>AUGUSTO MUNIZ CAMPOS</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSISTENTE DE GABINETE I</td>\n",
       "      <td>AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>Autarquia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>CAROLINA DE SOUZA PRIETO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSISTENTE TÉCNICO III</td>\n",
       "      <td>AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>Autarquia</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                       NOME CARGO PERMANENTE CARGO OU FUNÇÃO EM COMISSÃO  \\\n",
       "0      AUGUSTO MUNIZ CAMPOS              NaN   ASSISTENTE DE GABINETE I    \n",
       "1  CAROLINA DE SOUZA PRIETO              NaN      ASSISTENTE TÉCNICO III   \n",
       "\n",
       "                              UNIDADE DE TRABALHO AFASTADO P/ OUTROS ÓRGÃOS  \\\n",
       "0  AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA                       NÃO   \n",
       "1  AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA                       NÃO   \n",
       "\n",
       "  ÓRGÃO - DESTINO DE AFASTAMENTO  \\\n",
       "0                            NaN   \n",
       "1                            NaN   \n",
       "\n",
       "                                         nome_orgao nat_juridica  \n",
       "0  AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA    Autarquia  \n",
       "1  AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA    Autarquia  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Cria arquivo tratado e consolidado a partir do conjunto de dados 'C. Relação de Funcionários - Administração Indireta':"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df.to_csv('outputs/Quadro-Funcionarios-Autarquias-Fundacoes-Empresas.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Número de funcionários por tipo (comissionados puros, comissionados efetivos (híbridos), efetivos) nas Autarquias, Fundações e Empresas por Natureza Jurídica:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "112587"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Autarquia    52074\n",
       "Empresa      41258\n",
       "Fundação     19255\n",
       "Name: nat_juridica, dtype: int64"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.nat_juridica.value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3108"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_comissionados_autarquias = df[(df.nat_juridica == 'Autarquia') &\n",
    "                                 (~df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                                 (df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_comissionados_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "639"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_comissionados_fundacoes = df[(df.nat_juridica == 'Fundação') &\n",
    "                                (~df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                                (df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_comissionados_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2030"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_comissionados_empresas = df[(df.nat_juridica == 'Empresa') &\n",
    "                               (~df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                               (df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_comissionados_empresas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4214"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_hibridos_autarquias = df[(df.nat_juridica == 'Autarquia') &\n",
    "                            (~df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                            (~df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_hibridos_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2196"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_hibridos_fundacoes = df[(df.nat_juridica == 'Fundação') &\n",
    "                           (~df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                           (~df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_hibridos_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3159"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_hibridos_empresas = df[(df.nat_juridica == 'Empresa') &\n",
    "                          (~df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                          (~df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_hibridos_empresas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "44750"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_efetivos_autarquias = df[(df.nat_juridica == 'Autarquia') &\n",
    "                            (df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                            (~df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_efetivos_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "16420"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_efetivos_fundacoes = df[(df.nat_juridica == 'Fundação') &\n",
    "                           (df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                           (~df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_efetivos_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "36069"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_efetivos_empresas = df[(df.nat_juridica == 'Empresa') &\n",
    "                          (df['CARGO OU FUNÇÃO EM COMISSÃO'].isnull()) &\n",
    "                          (~df['CARGO PERMANENTE'].isnull())]\n",
    "len(df_efetivos_empresas)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Número de funcionários nas Autarquias, Fundações e Empresas [formalmente] afastados para outros órgãos:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>NÃO</th>\n",
       "      <td>110877</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>SIM</th>\n",
       "      <td>1710</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     AFASTADO P/ OUTROS ÓRGÃOS\n",
       "NÃO                     110877\n",
       "SIM                       1710"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['AFASTADO P/ OUTROS ÓRGÃOS'].value_counts().to_frame()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Número de funcionários nas Autarquias, Fundações e Empresas por Órgão:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "112587"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df['nome_orgao']) # Número de funcionários"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "62"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df['nome_orgao'].value_counts()) # Número de órgãos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA SOUZA                                                    19611\n",
       "SABESP - COMPANHIA DE SANEAMENTO BÁSICO DO ESTADO DE SÃO PAULO                                          14279\n",
       "FUNDAÇÃO CASA - FUNDAÇÃO CENTRO DE ATENDIMENTO SOCIOEDUCATIVO AO ADOLESCENTE                            12839\n",
       "HCFMUSP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DA USP                                         11181\n",
       "METRÔ - COMPANHIA DO METROPOLITANO DE SÃO PAULO                                                          9289\n",
       "CPTM - COMPANHIA PAULISTA DE TRENS METROPOLITANOS                                                        8166\n",
       "IAMSPE - INSTITUTO DE ASSISTÊNCIA MÉDICA AO SERVIDOR PÚBLICO                                             5110\n",
       "HCFMRP-USP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE RIBEIRÃO PRETO-USP                        4966\n",
       "DER - DEPARTAMENTO DE ESTRADAS DE RODAGEM                                                                3138\n",
       "CETESB - COMPANHIA AMBIENTAL DO ESTADO DE SÃO PAULO                                                      1982\n",
       "PRODESP - COMPANHIA DE PROCESSAMENTO DE DADOS DO ESTADO DE SÃO PAULO                                     1940\n",
       "DETRAN - DEPARTAMENTO ESTADUAL DE TRÂNSITO                                                               1536\n",
       "DAEE - DEPARTAMENTO DE ÁGUAS E ENERGIA ELÉTRICA                                                          1348\n",
       "SUCEN - SUPERINTENDÊNCIA DE CONTROLE DE ENDEMIAS                                                         1205\n",
       "FURP - FUNDAÇÃO PARA O REMÉDIO POPULAR “CHOPIN TAVARES LIMA”                                             1040\n",
       "HCFMB - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE BOTUCATU                                        803\n",
       "IPT - INSTITUTO DE PESQUISAS TECNOLÓGICAS                                                                 790\n",
       "IMESP - IMPRENSA OFICIAL DO ESTADO S.A.                                                                   786\n",
       "FUNDAÇÃO PADRE ANCHIETA - RÁDIO E TV EDUCATIVAS                                                           766\n",
       "FAMEMA - FACULDADE DE MEDICINA DE MARÍLIA                                                                 737\n",
       "IPEM-SP - INSTITUTO DE PESOS E MEDIDAS DO ESTADO DE SÃO PAULO                                             714\n",
       "ITESP - FUNDAÇÃO INSTITUTO DE TERRAS DO ESTADO DE SÃO PAULO \"JOSÉ GOMES DA SILVA\"                         664\n",
       "CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACIONAL E URBANO                                                 662\n",
       "CESP - COMPANHIA ENERGÉTICA DE SÃO PAULO                                                                  618\n",
       "PROCON-SP - FUNDAÇÃO DE PROTEÇÃO E DEFESA DO CONSUMIDOR                                                   589\n",
       "FAMERP - FACULDADE DE MEDICINA DE SÃO JOSÉ DO RIO PRETO                                                   557\n",
       "EMTU – EMPRESA METROPOLITANA DE TRANSPORTES URBANOS                                                       524\n",
       "DERSA - DESENVOLVIMENTO RODOVIÁRIO S.A.                                                                   513\n",
       "FUNDAÇÃO PRÓ-SANGUE HEMOCENTRO DE SÃO PAULO                                                               512\n",
       "EMAE - EMPRESA METROPOLITANA DE ÁGUAS E ENERGIA                                                           503\n",
       "FUNDAÇÃO PARA A CONSERVAÇÃO E A PRODUÇÃO FLORESTAL                                                        418\n",
       "CODASP - COMPANHIA DE DESENVOLVIMENTO AGRÍCOLA DO ESTADO DE SÃO PAULO                                     414\n",
       "SPPREV - SÃO PAULO PREVIDÊNCIA                                                                            389\n",
       "FDE - FUNDAÇÃO PARA O DESENVOLVIMENTO DA EDUCAÇÃO                                                         362\n",
       "FUNDAÇÃO PARQUE ZOOLÓGICO DE SÃO PAULO                                                                    361\n",
       "FUNAP - FUNDAÇÃO \"PROF. DR.  MANOEL PEDRO PIMENTEL\" DE AMPARO AO PRESO                                    359\n",
       "SEADE - FUNDAÇÃO SISTEMA ESTADUAL DE ANÁLISE DE DADOS                                                     333\n",
       "FAPESP - FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO                                             292\n",
       "FUNDAP - FUNDAÇÃO DO DESENVOLVIMENTO ADMINISTRATIVO - *EXTINÇÃO REGULAMENTADA PELO DECRETO Nº 61.866      277\n",
       "CPOS - COMPANHIA PAULISTA DE OBRAS E SERVIÇOS                                                             275\n",
       "JUCESP - JUNTA COMERCIAL DO ESTADO DE SÃO PAULO                                                           181\n",
       "EMPLASA - EMPRESA PAULISTA DE PLANEJAMENTO METROPOLITANO SA                                               173\n",
       "CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINTA PELA LEI Nº 15.899/2015 E DECRETO Nº 61.964/2016          173\n",
       "DAESP - DEPARTAMENTO AEROVIÁRIO DO ESTADO DE SÃO PAULO                                                    170\n",
       "DESENVOLVE SP - AGÊNCIA DE DESENVOLVIMENTO PAULISTA                                                       156\n",
       "ARSESP - AGÊNCIA REGULADORA DE SANEAMENTO E ENERGIA                                                       142\n",
       "COMPANHIA DOCAS DE SÃO SEBASTIÃO                                                                          103\n",
       "IMESC - INSTITUTO DE MEDICINA SOCIAL E DE CRIMINOLOGIA                                                    101\n",
       "FUNDAÇÃO ONCOCENTRO DE SÃO PAULO                                                                           91\n",
       "SP-PREVCOM - FUNDAÇÃO DE PREVIDÊNCIA COMPLEMENTAR DO ESTADO DE SÃO PAULO                                   70\n",
       "FUNDAÇÃO MEMORIAL DA AMÉRICA LATINA                                                                        66\n",
       "ARTESP - AGÊNCIA REGULADORA DE TRANSPORTES                                                                 54\n",
       "UNIVESP - FUNDAÇÃO UNIVERSIDADE VIRTUAL DO ESTADO DE SÃO PAULO                                             43\n",
       "CAIXA BENEFICENTE DA POLÍCIA MILITAR                                                                       42\n",
       "COSESP - COMPANHIA DE SEGUROS DO ESTADO DE SÃO PAULO                                                       40\n",
       "IPESP - INSTITUTO DE PAGAMENTOS ESPECIAIS DE SÃO PAULO                                                     32\n",
       "SUTACO-SUP. TRAB. ARTESANAL COMUNIDADES - *EXTINTA PELA LEI Nº 15.828/2015 E DECRETO Nº 61.774/2015        24\n",
       "COMPANHIA PAULISTA DE EVENTOS E TURISMO - *EXTINTA PELA LEI Nº 15.827/2015                                 21\n",
       "AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA                                                           20\n",
       "CPP - COMPANHIA PAULISTA DE PARCERIAS                                                                      14\n",
       "AGEMCAMP - AGÊNCIA METROPOLITANA DE CAMPINAS                                                               13\n",
       "COMPANHIA PAULISTA DE SECURITIZAÇÃO                                                                        10\n",
       "Name: nome_orgao, dtype: int64"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['nome_orgao'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Número de 'comissionados puros' nas Autarquias, Fundações e Empresas por Órgão:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA SOUZA                                                   905\n",
       "HCFMUSP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DA USP                                        848\n",
       "DETRAN - DEPARTAMENTO ESTADUAL DE TRÂNSITO                                                             412\n",
       "DER - DEPARTAMENTO DE ESTRADAS DE RODAGEM                                                              247\n",
       "JUCESP - JUNTA COMERCIAL DO ESTADO DE SÃO PAULO                                                        180\n",
       "IPEM-SP - INSTITUTO DE PESOS E MEDIDAS DO ESTADO DE SÃO PAULO                                           84\n",
       "HCFMB - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE BOTUCATU                                      84\n",
       "SPPREV - SÃO PAULO PREVIDÊNCIA                                                                          71\n",
       "DAESP - DEPARTAMENTO AEROVIÁRIO DO ESTADO DE SÃO PAULO                                                  60\n",
       "ARTESP - AGÊNCIA REGULADORA DE TRANSPORTES                                                              54\n",
       "IPESP - INSTITUTO DE PAGAMENTOS ESPECIAIS DE SÃO PAULO                                                  32\n",
       "ARSESP - AGÊNCIA REGULADORA DE SANEAMENTO E ENERGIA                                                     24\n",
       "AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA                                                        20\n",
       "SUCEN - SUPERINTENDÊNCIA DE CONTROLE DE ENDEMIAS                                                        16\n",
       "AGEMCAMP - AGÊNCIA METROPOLITANA DE CAMPINAS                                                            13\n",
       "FAMERP - FACULDADE DE MEDICINA DE SÃO JOSÉ DO RIO PRETO                                                 13\n",
       "IMESC - INSTITUTO DE MEDICINA SOCIAL E DE CRIMINOLOGIA                                                  11\n",
       "SUTACO-SUP. TRAB. ARTESANAL COMUNIDADES - *EXTINTA PELA LEI Nº 15.828/2015 E DECRETO Nº 61.774/2015     11\n",
       "CAIXA BENEFICENTE DA POLÍCIA MILITAR                                                                     7\n",
       "HCFMRP-USP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE RIBEIRÃO PRETO-USP                        6\n",
       "DAEE - DEPARTAMENTO DE ÁGUAS E ENERGIA ELÉTRICA                                                          5\n",
       "IAMSPE - INSTITUTO DE ASSISTÊNCIA MÉDICA AO SERVIDOR PÚBLICO                                             4\n",
       "FAMEMA - FACULDADE DE MEDICINA DE MARÍLIA                                                                1\n",
       "Name: nome_orgao, dtype: int64"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_tmp = df_comissionados_autarquias['nome_orgao'].value_counts()\n",
    "df_tmp[~df_tmp.isnull()].sort_values(ascending=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "FUNDAÇÃO PADRE ANCHIETA - RÁDIO E TV EDUCATIVAS                                                         169\n",
       "FUNDAÇÃO PARA A CONSERVAÇÃO E A PRODUÇÃO FLORESTAL                                                      104\n",
       "SP-PREVCOM - FUNDAÇÃO DE PREVIDÊNCIA COMPLEMENTAR DO ESTADO DE SÃO PAULO                                 70\n",
       "FAPESP - FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO                                            49\n",
       "FUNAP - FUNDAÇÃO \"PROF. DR.  MANOEL PEDRO PIMENTEL\" DE AMPARO AO PRESO                                   47\n",
       "FUNDAÇÃO MEMORIAL DA AMÉRICA LATINA                                                                      33\n",
       "FUNDAÇÃO PRÓ-SANGUE HEMOCENTRO DE SÃO PAULO                                                              26\n",
       "PROCON-SP - FUNDAÇÃO DE PROTEÇÃO E DEFESA DO CONSUMIDOR                                                  26\n",
       "FURP - FUNDAÇÃO PARA O REMÉDIO POPULAR “CHOPIN TAVARES LIMA”                                             25\n",
       "FUNDAÇÃO ONCOCENTRO DE SÃO PAULO                                                                         23\n",
       "CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINTA PELA LEI Nº 15.899/2015 E DECRETO Nº 61.964/2016         18\n",
       "UNIVESP - FUNDAÇÃO UNIVERSIDADE VIRTUAL DO ESTADO DE SÃO PAULO                                           16\n",
       "ITESP - FUNDAÇÃO INSTITUTO DE TERRAS DO ESTADO DE SÃO PAULO \"JOSÉ GOMES DA SILVA\"                        15\n",
       "FDE - FUNDAÇÃO PARA O DESENVOLVIMENTO DA EDUCAÇÃO                                                        12\n",
       "FUNDAÇÃO PARQUE ZOOLÓGICO DE SÃO PAULO                                                                    4\n",
       "FUNDAP - FUNDAÇÃO DO DESENVOLVIMENTO ADMINISTRATIVO - *EXTINÇÃO REGULAMENTADA PELO DECRETO Nº 61.866      2\n",
       "Name: nome_orgao, dtype: int64"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_tmp = df_comissionados_fundacoes['nome_orgao'].value_counts()\n",
    "df_tmp[~df_tmp.isnull()].sort_values(ascending=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "METRÔ - COMPANHIA DO METROPOLITANO DE SÃO PAULO                               741\n",
       "PRODESP - COMPANHIA DE PROCESSAMENTO DE DADOS DO ESTADO DE SÃO PAULO          344\n",
       "IMESP - IMPRENSA OFICIAL DO ESTADO S.A.                                       186\n",
       "DERSA - DESENVOLVIMENTO RODOVIÁRIO S.A.                                       173\n",
       "EMTU – EMPRESA METROPOLITANA DE TRANSPORTES URBANOS                           124\n",
       "CPOS - COMPANHIA PAULISTA DE OBRAS E SERVIÇOS                                 105\n",
       "CETESB - COMPANHIA AMBIENTAL DO ESTADO DE SÃO PAULO                            56\n",
       "SABESP - COMPANHIA DE SANEAMENTO BÁSICO DO ESTADO DE SÃO PAULO                 52\n",
       "CESP - COMPANHIA ENERGÉTICA DE SÃO PAULO                                       47\n",
       "IPT - INSTITUTO DE PESQUISAS TECNOLÓGICAS                                      41\n",
       "EMPLASA - EMPRESA PAULISTA DE PLANEJAMENTO METROPOLITANO SA                    40\n",
       "CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACIONAL E URBANO                      35\n",
       "COMPANHIA PAULISTA DE EVENTOS E TURISMO - *EXTINTA PELA LEI Nº 15.827/2015     21\n",
       "EMAE - EMPRESA METROPOLITANA DE ÁGUAS E ENERGIA                                18\n",
       "CPP - COMPANHIA PAULISTA DE PARCERIAS                                          14\n",
       "COMPANHIA DOCAS DE SÃO SEBASTIÃO                                               14\n",
       "COMPANHIA PAULISTA DE SECURITIZAÇÃO                                            10\n",
       "COSESP - COMPANHIA DE SEGUROS DO ESTADO DE SÃO PAULO                            9\n",
       "Name: nome_orgao, dtype: int64"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_tmp = df_comissionados_empresas['nome_orgao'].value_counts()\n",
    "df_tmp[~df_tmp.isnull()].sort_values(ascending=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Taxa de 'comissionados puros' sobre o total de funcionários por Órgão:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA                                                       100.000000\n",
       "ARTESP - AGÊNCIA REGULADORA DE TRANSPORTES                                                             100.000000\n",
       "AGEMCAMP - AGÊNCIA METROPOLITANA DE CAMPINAS                                                           100.000000\n",
       "IPESP - INSTITUTO DE PAGAMENTOS ESPECIAIS DE SÃO PAULO                                                 100.000000\n",
       "JUCESP - JUNTA COMERCIAL DO ESTADO DE SÃO PAULO                                                         99.447514\n",
       "SUTACO-SUP. TRAB. ARTESANAL COMUNIDADES - *EXTINTA PELA LEI Nº 15.828/2015 E DECRETO Nº 61.774/2015     45.833333\n",
       "DAESP - DEPARTAMENTO AEROVIÁRIO DO ESTADO DE SÃO PAULO                                                  35.294118\n",
       "DETRAN - DEPARTAMENTO ESTADUAL DE TRÂNSITO                                                              26.822917\n",
       "SPPREV - SÃO PAULO PREVIDÊNCIA                                                                          18.251928\n",
       "ARSESP - AGÊNCIA REGULADORA DE SANEAMENTO E ENERGIA                                                     16.901408\n",
       "CAIXA BENEFICENTE DA POLÍCIA MILITAR                                                                    16.666667\n",
       "IPEM-SP - INSTITUTO DE PESOS E MEDIDAS DO ESTADO DE SÃO PAULO                                           11.764706\n",
       "IMESC - INSTITUTO DE MEDICINA SOCIAL E DE CRIMINOLOGIA                                                  10.891089\n",
       "HCFMB - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE BOTUCATU                                      10.460772\n",
       "DER - DEPARTAMENTO DE ESTRADAS DE RODAGEM                                                                7.871256\n",
       "HCFMUSP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DA USP                                          7.584295\n",
       "CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA SOUZA                                                     4.614757\n",
       "FAMERP - FACULDADE DE MEDICINA DE SÃO JOSÉ DO RIO PRETO                                                  2.333932\n",
       "SUCEN - SUPERINTENDÊNCIA DE CONTROLE DE ENDEMIAS                                                         1.327801\n",
       "DAEE - DEPARTAMENTO DE ÁGUAS E ENERGIA ELÉTRICA                                                          0.370920\n",
       "FAMEMA - FACULDADE DE MEDICINA DE MARÍLIA                                                                0.135685\n",
       "HCFMRP-USP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE RIBEIRÃO PRETO-USP                        0.120822\n",
       "IAMSPE - INSTITUTO DE ASSISTÊNCIA MÉDICA AO SERVIDOR PÚBLICO                                             0.078278\n",
       "Name: nome_orgao, dtype: float64"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_tmp = df_comissionados_autarquias['nome_orgao'].value_counts() / df['nome_orgao'].value_counts()\n",
    "df_tmp[~df_tmp.isnull()].sort_values(ascending=False) * 100"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "SP-PREVCOM - FUNDAÇÃO DE PREVIDÊNCIA COMPLEMENTAR DO ESTADO DE SÃO PAULO                                100.000000\n",
       "FUNDAÇÃO MEMORIAL DA AMÉRICA LATINA                                                                      50.000000\n",
       "UNIVESP - FUNDAÇÃO UNIVERSIDADE VIRTUAL DO ESTADO DE SÃO PAULO                                           37.209302\n",
       "FUNDAÇÃO ONCOCENTRO DE SÃO PAULO                                                                         25.274725\n",
       "FUNDAÇÃO PARA A CONSERVAÇÃO E A PRODUÇÃO FLORESTAL                                                       24.880383\n",
       "FUNDAÇÃO PADRE ANCHIETA - RÁDIO E TV EDUCATIVAS                                                          22.062663\n",
       "FAPESP - FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO                                            16.780822\n",
       "FUNAP - FUNDAÇÃO \"PROF. DR.  MANOEL PEDRO PIMENTEL\" DE AMPARO AO PRESO                                   13.091922\n",
       "CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINTA PELA LEI Nº 15.899/2015 E DECRETO Nº 61.964/2016         10.404624\n",
       "FUNDAÇÃO PRÓ-SANGUE HEMOCENTRO DE SÃO PAULO                                                               5.078125\n",
       "PROCON-SP - FUNDAÇÃO DE PROTEÇÃO E DEFESA DO CONSUMIDOR                                                   4.414261\n",
       "FDE - FUNDAÇÃO PARA O DESENVOLVIMENTO DA EDUCAÇÃO                                                         3.314917\n",
       "FURP - FUNDAÇÃO PARA O REMÉDIO POPULAR “CHOPIN TAVARES LIMA”                                              2.403846\n",
       "ITESP - FUNDAÇÃO INSTITUTO DE TERRAS DO ESTADO DE SÃO PAULO \"JOSÉ GOMES DA SILVA\"                         2.259036\n",
       "FUNDAÇÃO PARQUE ZOOLÓGICO DE SÃO PAULO                                                                    1.108033\n",
       "FUNDAP - FUNDAÇÃO DO DESENVOLVIMENTO ADMINISTRATIVO - *EXTINÇÃO REGULAMENTADA PELO DECRETO Nº 61.866      0.722022\n",
       "Name: nome_orgao, dtype: float64"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_tmp = df_comissionados_fundacoes['nome_orgao'].value_counts() / df['nome_orgao'].value_counts()\n",
    "df_tmp[~df_tmp.isnull()].sort_values(ascending=False) * 100"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "CPP - COMPANHIA PAULISTA DE PARCERIAS                                         100.000000\n",
       "COMPANHIA PAULISTA DE EVENTOS E TURISMO - *EXTINTA PELA LEI Nº 15.827/2015    100.000000\n",
       "COMPANHIA PAULISTA DE SECURITIZAÇÃO                                           100.000000\n",
       "CPOS - COMPANHIA PAULISTA DE OBRAS E SERVIÇOS                                  38.181818\n",
       "DERSA - DESENVOLVIMENTO RODOVIÁRIO S.A.                                        33.723197\n",
       "IMESP - IMPRENSA OFICIAL DO ESTADO S.A.                                        23.664122\n",
       "EMTU – EMPRESA METROPOLITANA DE TRANSPORTES URBANOS                            23.664122\n",
       "EMPLASA - EMPRESA PAULISTA DE PLANEJAMENTO METROPOLITANO SA                    23.121387\n",
       "COSESP - COMPANHIA DE SEGUROS DO ESTADO DE SÃO PAULO                           22.500000\n",
       "PRODESP - COMPANHIA DE PROCESSAMENTO DE DADOS DO ESTADO DE SÃO PAULO           17.731959\n",
       "COMPANHIA DOCAS DE SÃO SEBASTIÃO                                               13.592233\n",
       "METRÔ - COMPANHIA DO METROPOLITANO DE SÃO PAULO                                 7.977177\n",
       "CESP - COMPANHIA ENERGÉTICA DE SÃO PAULO                                        7.605178\n",
       "CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACIONAL E URBANO                       5.287009\n",
       "IPT - INSTITUTO DE PESQUISAS TECNOLÓGICAS                                       5.189873\n",
       "EMAE - EMPRESA METROPOLITANA DE ÁGUAS E ENERGIA                                 3.578529\n",
       "CETESB - COMPANHIA AMBIENTAL DO ESTADO DE SÃO PAULO                             2.825429\n",
       "SABESP - COMPANHIA DE SANEAMENTO BÁSICO DO ESTADO DE SÃO PAULO                  0.364171\n",
       "Name: nome_orgao, dtype: float64"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_tmp = df_comissionados_empresas['nome_orgao'].value_counts() / df['nome_orgao'].value_counts()\n",
    "df_tmp[~df_tmp.isnull()].sort_values(ascending=False) * 100"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Cruza os arquivos do conjunto de dados 'A. Remuneração Mensal de Servidores e Empregados Públicos - Administração Direta e Indireta' com o conjunto de dados 'C. Relação de Funcionários - Administração Indireta':"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df_renda = pd.read_csv('inputs/Remuneracao.zip', compression='zip',\n",
    "                       encoding='windows-1252', delimiter=';', decimal=',')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 1096997 entries, 0 to 1096996\n",
      "Data columns (total 10 columns):\n",
      "NOME                                       1096997 non-null object\n",
      "CARGO                                      1096978 non-null object\n",
      "CARGO.1                                    1096997 non-null object\n",
      "REMUNERAÇÃO DO MÊS                         1096997 non-null float64\n",
      "FÉRIAS E 13º SALÁRIO                       1096997 non-null float64\n",
      "PAGAMENTOS EVENTUAIS                       1096997 non-null float64\n",
      "LICENÇA PRÊMIO INDENIZADA                  1096997 non-null float64\n",
      "ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES    1096997 non-null float64\n",
      "REDUTOR SALARIAL                           1096997 non-null float64\n",
      "TOTAL LIQUÍDO (R$)                         1096997 non-null float64\n",
      "dtypes: float64(7), object(3)\n",
      "memory usage: 83.7+ MB\n"
     ]
    }
   ],
   "source": [
    "df_renda.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df_merge_autarquias = pd.merge(df_comissionados_autarquias, df_renda, how='left', left_on='NOME', right_on='NOME')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df_merge_fundacoes = pd.merge(df_comissionados_fundacoes, df_renda, how='left', left_on='NOME', right_on='NOME')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df_merge_empresas = pd.merge(df_comissionados_empresas, df_renda, how='left', left_on='NOME', right_on='NOME')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3108"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_comissionados_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "639"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_comissionados_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2030"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_comissionados_empresas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1096997"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_renda)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "5264"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_merge_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "902"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_merge_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3202"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_merge_empresas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2156"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_merge_autarquias) - len(df_comissionados_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "263"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_merge_fundacoes) - len(df_comissionados_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1172"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_merge_empresas) - len(df_comissionados_empresas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NOME</th>\n",
       "      <th>CARGO PERMANENTE</th>\n",
       "      <th>CARGO OU FUNÇÃO EM COMISSÃO</th>\n",
       "      <th>UNIDADE DE TRABALHO</th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "      <th>ÓRGÃO - DESTINO DE AFASTAMENTO</th>\n",
       "      <th>nome_orgao</th>\n",
       "      <th>nat_juridica</th>\n",
       "      <th>CARGO</th>\n",
       "      <th>CARGO.1</th>\n",
       "      <th>REMUNERAÇÃO DO MÊS</th>\n",
       "      <th>FÉRIAS E 13º SALÁRIO</th>\n",
       "      <th>PAGAMENTOS EVENTUAIS</th>\n",
       "      <th>LICENÇA PRÊMIO INDENIZADA</th>\n",
       "      <th>ABONO PERMANÊNCIA &amp; OUTRAS INDENIZAÇÕES</th>\n",
       "      <th>REDUTOR SALARIAL</th>\n",
       "      <th>TOTAL LIQUÍDO (R$)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>AUGUSTO MUNIZ CAMPOS</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSISTENTE DE GABINETE I</td>\n",
       "      <td>AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>Autarquia</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>CAROLINA DE SOUZA PRIETO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSISTENTE TÉCNICO III</td>\n",
       "      <td>AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA</td>\n",
       "      <td>Autarquia</td>\n",
       "      <td>ASSISTENTE TECNICO III</td>\n",
       "      <td>AGEM</td>\n",
       "      <td>3702.82</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>2161.79</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                       NOME CARGO PERMANENTE CARGO OU FUNÇÃO EM COMISSÃO  \\\n",
       "0      AUGUSTO MUNIZ CAMPOS              NaN   ASSISTENTE DE GABINETE I    \n",
       "1  CAROLINA DE SOUZA PRIETO              NaN      ASSISTENTE TÉCNICO III   \n",
       "\n",
       "                              UNIDADE DE TRABALHO AFASTADO P/ OUTROS ÓRGÃOS  \\\n",
       "0  AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA                       NÃO   \n",
       "1  AGEM-AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA                       NÃO   \n",
       "\n",
       "  ÓRGÃO - DESTINO DE AFASTAMENTO  \\\n",
       "0                            NaN   \n",
       "1                            NaN   \n",
       "\n",
       "                                         nome_orgao nat_juridica  \\\n",
       "0  AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA    Autarquia   \n",
       "1  AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA    Autarquia   \n",
       "\n",
       "                    CARGO CARGO.1  REMUNERAÇÃO DO MÊS  FÉRIAS E 13º SALÁRIO  \\\n",
       "0                     NaN     NaN                 NaN                   NaN   \n",
       "1  ASSISTENTE TECNICO III    AGEM             3702.82                   0.0   \n",
       "\n",
       "   PAGAMENTOS EVENTUAIS  LICENÇA PRÊMIO INDENIZADA  \\\n",
       "0                   NaN                        NaN   \n",
       "1                   0.0                        0.0   \n",
       "\n",
       "   ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES  REDUTOR SALARIAL  \\\n",
       "0                                      NaN               NaN   \n",
       "1                                      0.0               0.0   \n",
       "\n",
       "   TOTAL LIQUÍDO (R$)  \n",
       "0                 NaN  \n",
       "1             2161.79  "
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_merge_autarquias.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NOME</th>\n",
       "      <th>CARGO PERMANENTE</th>\n",
       "      <th>CARGO OU FUNÇÃO EM COMISSÃO</th>\n",
       "      <th>UNIDADE DE TRABALHO</th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "      <th>ÓRGÃO - DESTINO DE AFASTAMENTO</th>\n",
       "      <th>nome_orgao</th>\n",
       "      <th>nat_juridica</th>\n",
       "      <th>CARGO</th>\n",
       "      <th>CARGO.1</th>\n",
       "      <th>REMUNERAÇÃO DO MÊS</th>\n",
       "      <th>FÉRIAS E 13º SALÁRIO</th>\n",
       "      <th>PAGAMENTOS EVENTUAIS</th>\n",
       "      <th>LICENÇA PRÊMIO INDENIZADA</th>\n",
       "      <th>ABONO PERMANÊNCIA &amp; OUTRAS INDENIZAÇÕES</th>\n",
       "      <th>REDUTOR SALARIAL</th>\n",
       "      <th>TOTAL LIQUÍDO (R$)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ALEXANDRE DE OLIVEIRA</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CHEFE DE SERVIÇO 1</td>\n",
       "      <td>CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINT...</td>\n",
       "      <td>Fundação</td>\n",
       "      <td>PROFESSOR EDUCACAO BASICA II</td>\n",
       "      <td>EDUCACAO</td>\n",
       "      <td>3439.45</td>\n",
       "      <td>0.0</td>\n",
       "      <td>-329.92</td>\n",
       "      <td>0.0</td>\n",
       "      <td>166.76</td>\n",
       "      <td>0.0</td>\n",
       "      <td>2852.81</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ALEXANDRE DE OLIVEIRA</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CHEFE DE SERVIÇO 1</td>\n",
       "      <td>CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINT...</td>\n",
       "      <td>Fundação</td>\n",
       "      <td>2SGT  PM</td>\n",
       "      <td>SPPREV</td>\n",
       "      <td>5768.31</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0.0</td>\n",
       "      <td>3211.50</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                    NOME CARGO PERMANENTE CARGO OU FUNÇÃO EM COMISSÃO  \\\n",
       "0  ALEXANDRE DE OLIVEIRA              NaN          CHEFE DE SERVIÇO 1   \n",
       "1  ALEXANDRE DE OLIVEIRA              NaN          CHEFE DE SERVIÇO 1   \n",
       "\n",
       "                    UNIDADE DE TRABALHO AFASTADO P/ OUTROS ÓRGÃOS  \\\n",
       "0  CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA                       NÃO   \n",
       "1  CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA                       NÃO   \n",
       "\n",
       "  ÓRGÃO - DESTINO DE AFASTAMENTO  \\\n",
       "0                            NaN   \n",
       "1                            NaN   \n",
       "\n",
       "                                          nome_orgao nat_juridica  \\\n",
       "0  CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINT...     Fundação   \n",
       "1  CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINT...     Fundação   \n",
       "\n",
       "                          CARGO   CARGO.1  REMUNERAÇÃO DO MÊS  \\\n",
       "0  PROFESSOR EDUCACAO BASICA II  EDUCACAO             3439.45   \n",
       "1                      2SGT  PM    SPPREV             5768.31   \n",
       "\n",
       "   FÉRIAS E 13º SALÁRIO  PAGAMENTOS EVENTUAIS  LICENÇA PRÊMIO INDENIZADA  \\\n",
       "0                   0.0               -329.92                        0.0   \n",
       "1                   0.0                  0.00                        0.0   \n",
       "\n",
       "   ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES  REDUTOR SALARIAL  \\\n",
       "0                                   166.76               0.0   \n",
       "1                                     0.00               0.0   \n",
       "\n",
       "   TOTAL LIQUÍDO (R$)  \n",
       "0             2852.81  \n",
       "1             3211.50  "
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_merge_fundacoes.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NOME</th>\n",
       "      <th>CARGO PERMANENTE</th>\n",
       "      <th>CARGO OU FUNÇÃO EM COMISSÃO</th>\n",
       "      <th>UNIDADE DE TRABALHO</th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "      <th>ÓRGÃO - DESTINO DE AFASTAMENTO</th>\n",
       "      <th>nome_orgao</th>\n",
       "      <th>nat_juridica</th>\n",
       "      <th>CARGO</th>\n",
       "      <th>CARGO.1</th>\n",
       "      <th>REMUNERAÇÃO DO MÊS</th>\n",
       "      <th>FÉRIAS E 13º SALÁRIO</th>\n",
       "      <th>PAGAMENTOS EVENTUAIS</th>\n",
       "      <th>LICENÇA PRÊMIO INDENIZADA</th>\n",
       "      <th>ABONO PERMANÊNCIA &amp; OUTRAS INDENIZAÇÕES</th>\n",
       "      <th>REDUTOR SALARIAL</th>\n",
       "      <th>TOTAL LIQUÍDO (R$)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ADAO BORGES VASCONCELOS</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSESSOR EXECUTIVO</td>\n",
       "      <td>DIRETORIA ADMINISTRATIVA FINANCEIRA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACION...</td>\n",
       "      <td>Empresa</td>\n",
       "      <td>ASSESSOR EXECUTIVO</td>\n",
       "      <td>CDHU</td>\n",
       "      <td>18036.2</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>59583.89</td>\n",
       "      <td>0.0</td>\n",
       "      <td>51523.37</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ANTONIO CARLOS DE OLIVEIRA JUNIOR</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSESSOR EXECUTIVO</td>\n",
       "      <td>NUCLEO REGIONAL DE RIBEIRAO PRETO</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACION...</td>\n",
       "      <td>Empresa</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                NOME CARGO PERMANENTE  \\\n",
       "0            ADAO BORGES VASCONCELOS              NaN   \n",
       "1  ANTONIO CARLOS DE OLIVEIRA JUNIOR              NaN   \n",
       "\n",
       "  CARGO OU FUNÇÃO EM COMISSÃO                  UNIDADE DE TRABALHO  \\\n",
       "0          ASSESSOR EXECUTIVO  DIRETORIA ADMINISTRATIVA FINANCEIRA   \n",
       "1          ASSESSOR EXECUTIVO    NUCLEO REGIONAL DE RIBEIRAO PRETO   \n",
       "\n",
       "  AFASTADO P/ OUTROS ÓRGÃOS ÓRGÃO - DESTINO DE AFASTAMENTO  \\\n",
       "0                       NÃO                            NaN   \n",
       "1                       NÃO                            NaN   \n",
       "\n",
       "                                          nome_orgao nat_juridica  \\\n",
       "0  CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACION...      Empresa   \n",
       "1  CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACION...      Empresa   \n",
       "\n",
       "                CARGO CARGO.1  REMUNERAÇÃO DO MÊS  FÉRIAS E 13º SALÁRIO  \\\n",
       "0  ASSESSOR EXECUTIVO    CDHU             18036.2                   0.0   \n",
       "1                 NaN     NaN                 NaN                   NaN   \n",
       "\n",
       "   PAGAMENTOS EVENTUAIS  LICENÇA PRÊMIO INDENIZADA  \\\n",
       "0                   0.0                        0.0   \n",
       "1                   NaN                        NaN   \n",
       "\n",
       "   ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES  REDUTOR SALARIAL  \\\n",
       "0                                 59583.89               0.0   \n",
       "1                                      NaN               NaN   \n",
       "\n",
       "   TOTAL LIQUÍDO (R$)  \n",
       "0            51523.37  \n",
       "1                 NaN  "
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_merge_empresas.head(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Nomes dos órgãos no conjunto de dados 'C':"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA',\n",
       " 'AGEMCAMP - AGÊNCIA METROPOLITANA DE CAMPINAS',\n",
       " 'ARSESP - AGÊNCIA REGULADORA DE SANEAMENTO E ENERGIA',\n",
       " 'ARTESP - AGÊNCIA REGULADORA DE TRANSPORTES',\n",
       " 'CAIXA BENEFICENTE DA POLÍCIA MILITAR',\n",
       " 'CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA SOUZA',\n",
       " 'DAEE - DEPARTAMENTO DE ÁGUAS E ENERGIA ELÉTRICA',\n",
       " 'DAESP - DEPARTAMENTO AEROVIÁRIO DO ESTADO DE SÃO PAULO',\n",
       " 'DER - DEPARTAMENTO DE ESTRADAS DE RODAGEM',\n",
       " 'DETRAN - DEPARTAMENTO ESTADUAL DE TRÂNSITO',\n",
       " 'FAMEMA - FACULDADE DE MEDICINA DE MARÍLIA',\n",
       " 'FAMERP - FACULDADE DE MEDICINA DE SÃO JOSÉ DO RIO PRETO',\n",
       " 'HCFMB - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE BOTUCATU',\n",
       " 'HCFMRP-USP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE RIBEIRÃO PRETO-USP',\n",
       " 'HCFMUSP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DA USP',\n",
       " 'IAMSPE - INSTITUTO DE ASSISTÊNCIA MÉDICA AO SERVIDOR PÚBLICO',\n",
       " 'IMESC - INSTITUTO DE MEDICINA SOCIAL E DE CRIMINOLOGIA',\n",
       " 'IPEM-SP - INSTITUTO DE PESOS E MEDIDAS DO ESTADO DE SÃO PAULO',\n",
       " 'IPESP - INSTITUTO DE PAGAMENTOS ESPECIAIS DE SÃO PAULO',\n",
       " 'JUCESP - JUNTA COMERCIAL DO ESTADO DE SÃO PAULO',\n",
       " 'SPPREV - SÃO PAULO PREVIDÊNCIA',\n",
       " 'SUCEN - SUPERINTENDÊNCIA DE CONTROLE DE ENDEMIAS',\n",
       " 'SUTACO-SUP. TRAB. ARTESANAL COMUNIDADES - *EXTINTA PELA LEI Nº 15.828/2015 E DECRETO Nº 61.774/2015'}"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(df_comissionados_autarquias.nome_orgao)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINTA PELA LEI Nº 15.899/2015 E DECRETO Nº 61.964/2016',\n",
       " 'FAPESP - FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO',\n",
       " 'FDE - FUNDAÇÃO PARA O DESENVOLVIMENTO DA EDUCAÇÃO',\n",
       " 'FUNAP - FUNDAÇÃO \"PROF. DR.  MANOEL PEDRO PIMENTEL\" DE AMPARO AO PRESO',\n",
       " 'FUNDAP - FUNDAÇÃO DO DESENVOLVIMENTO ADMINISTRATIVO - *EXTINÇÃO REGULAMENTADA PELO DECRETO Nº 61.866',\n",
       " 'FUNDAÇÃO MEMORIAL DA AMÉRICA LATINA',\n",
       " 'FUNDAÇÃO ONCOCENTRO DE SÃO PAULO',\n",
       " 'FUNDAÇÃO PADRE ANCHIETA - RÁDIO E TV EDUCATIVAS',\n",
       " 'FUNDAÇÃO PARA A CONSERVAÇÃO E A PRODUÇÃO FLORESTAL',\n",
       " 'FUNDAÇÃO PARQUE ZOOLÓGICO DE SÃO PAULO',\n",
       " 'FUNDAÇÃO PRÓ-SANGUE HEMOCENTRO DE SÃO PAULO',\n",
       " 'FURP - FUNDAÇÃO PARA O REMÉDIO POPULAR “CHOPIN TAVARES LIMA”',\n",
       " 'ITESP - FUNDAÇÃO INSTITUTO DE TERRAS DO ESTADO DE SÃO PAULO \"JOSÉ GOMES DA SILVA\"',\n",
       " 'PROCON-SP - FUNDAÇÃO DE PROTEÇÃO E DEFESA DO CONSUMIDOR',\n",
       " 'SP-PREVCOM - FUNDAÇÃO DE PREVIDÊNCIA COMPLEMENTAR DO ESTADO DE SÃO PAULO',\n",
       " 'UNIVESP - FUNDAÇÃO UNIVERSIDADE VIRTUAL DO ESTADO DE SÃO PAULO'}"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(df_comissionados_fundacoes.nome_orgao)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACIONAL E URBANO',\n",
       " 'CESP - COMPANHIA ENERGÉTICA DE SÃO PAULO',\n",
       " 'CETESB - COMPANHIA AMBIENTAL DO ESTADO DE SÃO PAULO',\n",
       " 'COMPANHIA DOCAS DE SÃO SEBASTIÃO',\n",
       " 'COMPANHIA PAULISTA DE EVENTOS E TURISMO - *EXTINTA PELA LEI Nº 15.827/2015',\n",
       " 'COMPANHIA PAULISTA DE SECURITIZAÇÃO',\n",
       " 'COSESP - COMPANHIA DE SEGUROS DO ESTADO DE SÃO PAULO',\n",
       " 'CPOS - COMPANHIA PAULISTA DE OBRAS E SERVIÇOS',\n",
       " 'CPP - COMPANHIA PAULISTA DE PARCERIAS',\n",
       " 'DERSA - DESENVOLVIMENTO RODOVIÁRIO S.A.',\n",
       " 'EMAE - EMPRESA METROPOLITANA DE ÁGUAS E ENERGIA',\n",
       " 'EMPLASA - EMPRESA PAULISTA DE PLANEJAMENTO METROPOLITANO SA',\n",
       " 'EMTU – EMPRESA METROPOLITANA DE TRANSPORTES URBANOS',\n",
       " 'IMESP - IMPRENSA OFICIAL DO ESTADO S.A.',\n",
       " 'IPT - INSTITUTO DE PESQUISAS TECNOLÓGICAS',\n",
       " 'METRÔ - COMPANHIA DO METROPOLITANO DE SÃO PAULO',\n",
       " 'PRODESP - COMPANHIA DE PROCESSAMENTO DE DADOS DO ESTADO DE SÃO PAULO',\n",
       " 'SABESP - COMPANHIA DE SANEAMENTO BÁSICO DO ESTADO DE SÃO PAULO'}"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(df_comissionados_empresas.nome_orgao)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Nomes dos órgãos no conjunto de dados 'A':"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'ADM GERAL',\n",
       " 'AGEM',\n",
       " 'AGEMCAMP',\n",
       " 'AGEMVALE',\n",
       " 'ARSESP',\n",
       " 'ARTESP',\n",
       " 'CASA CIVIL',\n",
       " 'CBPM',\n",
       " 'CDHU',\n",
       " 'CEETEPS',\n",
       " 'CESP',\n",
       " 'CETESB',\n",
       " 'CIA DOCAS',\n",
       " 'CODASP',\n",
       " 'COSESP',\n",
       " 'CPOS',\n",
       " 'CPP',\n",
       " 'CPSEC',\n",
       " 'CPTM',\n",
       " 'CULTURA',\n",
       " 'DAEE',\n",
       " 'DAESP',\n",
       " 'DER',\n",
       " 'DERSA',\n",
       " 'DESENVOLVE SP',\n",
       " 'DETRAN',\n",
       " 'EDUCACAO',\n",
       " 'EMAE',\n",
       " 'EMPLASA',\n",
       " 'EMTU',\n",
       " 'ENERGIA',\n",
       " 'ESPORTE',\n",
       " 'FAMEMA',\n",
       " 'FAPESP',\n",
       " 'FAZENDA',\n",
       " 'FDE',\n",
       " 'FMSJRPRETO',\n",
       " 'FOSP',\n",
       " 'FUNAP',\n",
       " 'FUND. CASA',\n",
       " 'FUND. FLORESTAL',\n",
       " 'FURP',\n",
       " 'GAB GOV',\n",
       " 'GESTAO PUBLICA',\n",
       " 'HABITACAO',\n",
       " 'HCFMB',\n",
       " 'HCFMRP',\n",
       " 'HCFMUSP',\n",
       " 'IMESC',\n",
       " 'IMESP',\n",
       " 'INSTITUTO DE ASSISTENCIA MEDICA SERVIDOR',\n",
       " 'IPEM',\n",
       " 'IPESP',\n",
       " 'IPT',\n",
       " 'ITESP',\n",
       " 'JUCESP',\n",
       " 'JUSTICA',\n",
       " 'MEIO AMBIENTE',\n",
       " 'MEMORIAL',\n",
       " 'METRO',\n",
       " 'PE. ANCHIETA',\n",
       " 'PGE',\n",
       " 'PM',\n",
       " 'PRO-SANGUE',\n",
       " 'PROCON',\n",
       " 'PRODESP',\n",
       " 'RECURSOS HIDRICOS',\n",
       " 'SAA',\n",
       " 'SABESP',\n",
       " 'SAP',\n",
       " 'SAUDE',\n",
       " 'SDECTI',\n",
       " 'SDPD',\n",
       " 'SDS',\n",
       " 'SEADE',\n",
       " 'SECRETARIA DE GOVERNO',\n",
       " 'SEPLAN',\n",
       " 'SERT',\n",
       " 'SP.CLIN.FAC.MED.MARILIA-HCFAMEMA',\n",
       " 'SPPREV',\n",
       " 'SPPREVCOM',\n",
       " 'SSP',\n",
       " 'SUCEN',\n",
       " 'TRANSP. METROP.',\n",
       " 'TRANSPORTES',\n",
       " 'TURISMO',\n",
       " 'UNIVESP',\n",
       " 'ZOOLOGICO'}"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(df_renda['CARGO.1'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Dicionário para conectar os nomes dos órgãos nos dois conjuntos de dados:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "dicionario_orgaos = {'CDHU - COMPANHIA DE DESENVOLVIMENTO HABITACIONAL E URBANO': 'CDHU',\n",
    " 'CEPAM - FUNDAÇÃO PREFEITO FARIA LIMA - *EXTINTA PELA LEI Nº 15.899/2015 E DECRETO Nº 61.964/2016': 'SEPLAN',\n",
    " 'CESP - COMPANHIA ENERGÉTICA DE SÃO PAULO': 'CESP',\n",
    " 'CETESB - COMPANHIA AMBIENTAL DO ESTADO DE SÃO PAULO': 'CETESB',\n",
    " 'COMPANHIA DOCAS DE SÃO SEBASTIÃO': 'CIA DOCAS',\n",
    " 'COMPANHIA PAULISTA DE EVENTOS E TURISMO - *EXTINTA PELA LEI Nº 15.827/2015': '####',\n",
    " 'COMPANHIA PAULISTA DE SECURITIZAÇÃO': 'CPSEC',\n",
    " 'COSESP - COMPANHIA DE SEGUROS DO ESTADO DE SÃO PAULO': 'COSESP',\n",
    " 'CPOS - COMPANHIA PAULISTA DE OBRAS E SERVIÇOS': 'CPOS',\n",
    " 'CPP - COMPANHIA PAULISTA DE PARCERIAS': 'CPP',\n",
    " 'DERSA - DESENVOLVIMENTO RODOVIÁRIO S.A.': 'DERSA',\n",
    " 'EMAE - EMPRESA METROPOLITANA DE ÁGUAS E ENERGIA': 'EMAE',\n",
    " 'EMPLASA - EMPRESA PAULISTA DE PLANEJAMENTO METROPOLITANO SA': 'EMPLASA',\n",
    " 'EMTU – EMPRESA METROPOLITANA DE TRANSPORTES URBANOS': 'EMTU',\n",
    " 'FAPESP - FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO': 'FAPESP',\n",
    " 'FDE - FUNDAÇÃO PARA O DESENVOLVIMENTO DA EDUCAÇÃO': 'FDE',\n",
    " 'FUNAP - FUNDAÇÃO \"PROF. DR.  MANOEL PEDRO PIMENTEL\" DE AMPARO AO PRESO': 'FUNAP',\n",
    " 'FUNDAP - FUNDAÇÃO DO DESENVOLVIMENTO ADMINISTRATIVO - *EXTINÇÃO REGULAMENTADA PELO DECRETO Nº 61.866': 'SEPLAN',\n",
    " 'FUNDAÇÃO MEMORIAL DA AMÉRICA LATINA': 'MEMORIAL',\n",
    " 'FUNDAÇÃO ONCOCENTRO DE SÃO PAULO': 'FOSP',\n",
    " 'FUNDAÇÃO PADRE ANCHIETA - RÁDIO E TV EDUCATIVAS': 'PE. ANCHIETA',\n",
    " 'FUNDAÇÃO PARA A CONSERVAÇÃO E A PRODUÇÃO FLORESTAL': 'FUND. FLORESTAL',\n",
    " 'FUNDAÇÃO PARQUE ZOOLÓGICO DE SÃO PAULO': 'ZOOLOGICO',\n",
    " 'FUNDAÇÃO PRÓ-SANGUE HEMOCENTRO DE SÃO PAULO': 'PRO-SANGUE',\n",
    " 'FURP - FUNDAÇÃO PARA O REMÉDIO POPULAR “CHOPIN TAVARES LIMA”': 'FURP',\n",
    " 'IMESP - IMPRENSA OFICIAL DO ESTADO S.A.': 'IMESP',\n",
    " 'IPT - INSTITUTO DE PESQUISAS TECNOLÓGICAS': 'IPT',\n",
    " 'ITESP - FUNDAÇÃO INSTITUTO DE TERRAS DO ESTADO DE SÃO PAULO \"JOSÉ GOMES DA SILVA\"': 'ITESP',\n",
    " 'METRÔ - COMPANHIA DO METROPOLITANO DE SÃO PAULO': 'METRO',\n",
    " 'PROCON-SP - FUNDAÇÃO DE PROTEÇÃO E DEFESA DO CONSUMIDOR': 'PROCON',\n",
    " 'PRODESP - COMPANHIA DE PROCESSAMENTO DE DADOS DO ESTADO DE SÃO PAULO': 'PRODESP',\n",
    " 'SABESP - COMPANHIA DE SANEAMENTO BÁSICO DO ESTADO DE SÃO PAULO': 'SABESP',\n",
    " 'SP-PREVCOM - FUNDAÇÃO DE PREVIDÊNCIA COMPLEMENTAR DO ESTADO DE SÃO PAULO': 'SPPREVCOM',\n",
    " 'UNIVESP - FUNDAÇÃO UNIVERSIDADE VIRTUAL DO ESTADO DE SÃO PAULO': 'UNIVESP',\n",
    " 'AGEM - AGÊNCIA METROPOLITANA DA BAIXADA SANTISTA': 'AGEM',\n",
    " 'AGEMCAMP - AGÊNCIA METROPOLITANA DE CAMPINAS': 'AGEMCAMP',\n",
    " 'ARSESP - AGÊNCIA REGULADORA DE SANEAMENTO E ENERGIA': 'ARSESP',\n",
    " 'ARTESP - AGÊNCIA REGULADORA DE TRANSPORTES': 'ARTESP',\n",
    " 'CAIXA BENEFICENTE DA POLÍCIA MILITAR': 'CBPM',\n",
    " 'CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA SOUZA': 'CEETEPS',\n",
    " 'DAEE - DEPARTAMENTO DE ÁGUAS E ENERGIA ELÉTRICA': 'DAEE',\n",
    " 'DAESP - DEPARTAMENTO AEROVIÁRIO DO ESTADO DE SÃO PAULO': 'DAESP',\n",
    " 'DER - DEPARTAMENTO DE ESTRADAS DE RODAGEM': 'DER',\n",
    " 'DETRAN - DEPARTAMENTO ESTADUAL DE TRÂNSITO': 'DETRAN',\n",
    " 'FAMEMA - FACULDADE DE MEDICINA DE MARÍLIA': 'FAMEMA',\n",
    " 'FAMEMA - FACULDADE DE MEDICINA DE MARÍLIA': 'SP.CLIN.FAC.MED.MARILIA-HCFAMEMA',\n",
    " 'FAMERP - FACULDADE DE MEDICINA DE SÃO JOSÉ DO RIO PRETO': 'FMSJRPRETO',\n",
    " 'HCFMB - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE BOTUCATU': 'HCFMB',\n",
    " 'HCFMRP-USP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DE RIBEIRÃO PRETO-USP': 'HCFMRP',\n",
    " 'HCFMUSP - HOSPITAL DAS CLÍNICAS DA FACULDADE DE MEDICINA DA USP': 'HCFMUSP',\n",
    " 'IAMSPE - INSTITUTO DE ASSISTÊNCIA MÉDICA AO SERVIDOR PÚBLICO': 'INSTITUTO DE ASSISTENCIA MEDICA SERVIDOR',\n",
    " 'IMESC - INSTITUTO DE MEDICINA SOCIAL E DE CRIMINOLOGIA': 'IMESC',\n",
    " 'IPEM-SP - INSTITUTO DE PESOS E MEDIDAS DO ESTADO DE SÃO PAULO': 'IPEM',\n",
    " 'IPESP - INSTITUTO DE PAGAMENTOS ESPECIAIS DE SÃO PAULO': 'IPESP',\n",
    " 'JUCESP - JUNTA COMERCIAL DO ESTADO DE SÃO PAULO': 'JUCESP',\n",
    " 'SPPREV - SÃO PAULO PREVIDÊNCIA': 'SPPREV',\n",
    " 'SUCEN - SUPERINTENDÊNCIA DE CONTROLE DE ENDEMIAS': 'SUCEN',\n",
    " 'SUTACO-SUP. TRAB. ARTESANAL COMUNIDADES - *EXTINTA PELA LEI Nº 15.828/2015 E DECRETO Nº 61.774/2015:': 'SUTACO'\n",
    " }"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def conecta(df_irregular):\n",
    "    df_irr = df_irregular.copy()\n",
    "    df_irr['CARGO.1'] = df_irr.nome_orgao.map(dicionario_orgaos)\n",
    "    df_irr.NOME = df_irr.NOME.str.upper()\n",
    "    df_irr['CARGO OU FUNÇÃO EM COMISSÃO'] = (df_irr['CARGO OU FUNÇÃO EM COMISSÃO'].str.upper()\n",
    "                                                    .str.normalize('NFD')\n",
    "                                                    .str.encode('ascii',  'ignore')\n",
    "                                                    .str.decode('utf-8'))\n",
    "    return df_irr"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df_irr_autarquias = conecta(df_comissionados_autarquias)\n",
    "df_irr_fundacoes = conecta(df_comissionados_fundacoes)\n",
    "df_irr_empresas = conecta(df_comissionados_empresas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 3108 entries, 0 to 52066\n",
      "Data columns (total 9 columns):\n",
      "NOME                              3108 non-null object\n",
      "CARGO PERMANENTE                  0 non-null object\n",
      "CARGO OU FUNÇÃO EM COMISSÃO       3108 non-null object\n",
      "UNIDADE DE TRABALHO               3108 non-null object\n",
      "AFASTADO P/ OUTROS ÓRGÃOS         3108 non-null object\n",
      "ÓRGÃO - DESTINO DE AFASTAMENTO    19 non-null object\n",
      "nome_orgao                        3108 non-null object\n",
      "nat_juridica                      3108 non-null object\n",
      "CARGO.1                           3097 non-null object\n",
      "dtypes: object(9)\n",
      "memory usage: 242.8+ KB\n"
     ]
    }
   ],
   "source": [
    "df_irr_autarquias.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 639 entries, 52077 to 71326\n",
      "Data columns (total 9 columns):\n",
      "NOME                              639 non-null object\n",
      "CARGO PERMANENTE                  0 non-null object\n",
      "CARGO OU FUNÇÃO EM COMISSÃO       639 non-null object\n",
      "UNIDADE DE TRABALHO               638 non-null object\n",
      "AFASTADO P/ OUTROS ÓRGÃOS         639 non-null object\n",
      "ÓRGÃO - DESTINO DE AFASTAMENTO    29 non-null object\n",
      "nome_orgao                        639 non-null object\n",
      "nat_juridica                      639 non-null object\n",
      "CARGO.1                           639 non-null object\n",
      "dtypes: object(9)\n",
      "memory usage: 49.9+ KB\n"
     ]
    }
   ],
   "source": [
    "df_irr_fundacoes.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 2030 entries, 71332 to 112386\n",
      "Data columns (total 9 columns):\n",
      "NOME                              2030 non-null object\n",
      "CARGO PERMANENTE                  0 non-null object\n",
      "CARGO OU FUNÇÃO EM COMISSÃO       2030 non-null object\n",
      "UNIDADE DE TRABALHO               2029 non-null object\n",
      "AFASTADO P/ OUTROS ÓRGÃOS         2030 non-null object\n",
      "ÓRGÃO - DESTINO DE AFASTAMENTO    273 non-null object\n",
      "nome_orgao                        2030 non-null object\n",
      "nat_juridica                      2030 non-null object\n",
      "CARGO.1                           2030 non-null object\n",
      "dtypes: object(9)\n",
      "memory usage: 158.6+ KB\n"
     ]
    }
   ],
   "source": [
    "df_irr_empresas.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Tratamento de homônimos:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "def trata_homonimos(df_irr):\n",
    "    df_merge = pd.merge(df_irr, df_renda, how='inner',\n",
    "                        left_on=['CARGO.1', 'NOME'],\n",
    "                        right_on=['CARGO.1', 'NOME'])\n",
    "    df_tmp = df_merge.groupby(['CARGO.1', 'NOME']).size().reset_index('NOME')\n",
    "    homonimos = df_tmp.loc[df_tmp[0] > 1, 'NOME'].values\n",
    "    df_irr_homonimos = df_irr[df_irr.NOME.isin(homonimos)]\n",
    "    df_irr_regular = df_irr[~df_irr.NOME.isin(homonimos)]\n",
    "    df_merge_regular = pd.merge(df_irr_regular, df_renda, how='inner',\n",
    "                                left_on=['CARGO.1', 'NOME'],\n",
    "                                right_on=['CARGO.1', 'NOME'])\n",
    "    df_merge_homonimos = pd.merge(df_irr_homonimos, df_renda, how='inner',\n",
    "                                  left_on=['CARGO.1', 'NOME', 'CARGO OU FUNÇÃO EM COMISSÃO'],\n",
    "                                  right_on=['CARGO.1', 'NOME', 'CARGO'])\n",
    "    df_todos = pd.concat([df_merge_homonimos, df_merge_regular])\n",
    "    return df_todos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_todos_autarquias = trata_homonimos(df_irr_autarquias)\n",
    "df_todos_fundacoes = trata_homonimos(df_irr_fundacoes)\n",
    "df_todos_empresas = trata_homonimos(df_irr_empresas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 2053 entries, 0 to 2026\n",
      "Data columns (total 17 columns):\n",
      "NOME                                       2053 non-null object\n",
      "CARGO PERMANENTE                           0 non-null object\n",
      "CARGO OU FUNÇÃO EM COMISSÃO                2053 non-null object\n",
      "UNIDADE DE TRABALHO                        2053 non-null object\n",
      "AFASTADO P/ OUTROS ÓRGÃOS                  2053 non-null object\n",
      "ÓRGÃO - DESTINO DE AFASTAMENTO             14 non-null object\n",
      "nome_orgao                                 2053 non-null object\n",
      "nat_juridica                               2053 non-null object\n",
      "CARGO.1                                    2053 non-null object\n",
      "CARGO                                      2053 non-null object\n",
      "REMUNERAÇÃO DO MÊS                         2053 non-null float64\n",
      "FÉRIAS E 13º SALÁRIO                       2053 non-null float64\n",
      "PAGAMENTOS EVENTUAIS                       2053 non-null float64\n",
      "LICENÇA PRÊMIO INDENIZADA                  2053 non-null float64\n",
      "ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES    2053 non-null float64\n",
      "REDUTOR SALARIAL                           2053 non-null float64\n",
      "TOTAL LIQUÍDO (R$)                         2053 non-null float64\n",
      "dtypes: float64(7), object(10)\n",
      "memory usage: 288.7+ KB\n"
     ]
    }
   ],
   "source": [
    "df_todos_autarquias.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 478 entries, 0 to 476\n",
      "Data columns (total 17 columns):\n",
      "NOME                                       478 non-null object\n",
      "CARGO PERMANENTE                           0 non-null object\n",
      "CARGO OU FUNÇÃO EM COMISSÃO                478 non-null object\n",
      "UNIDADE DE TRABALHO                        477 non-null object\n",
      "AFASTADO P/ OUTROS ÓRGÃOS                  478 non-null object\n",
      "ÓRGÃO - DESTINO DE AFASTAMENTO             24 non-null object\n",
      "nome_orgao                                 478 non-null object\n",
      "nat_juridica                               478 non-null object\n",
      "CARGO.1                                    478 non-null object\n",
      "CARGO                                      478 non-null object\n",
      "REMUNERAÇÃO DO MÊS                         478 non-null float64\n",
      "FÉRIAS E 13º SALÁRIO                       478 non-null float64\n",
      "PAGAMENTOS EVENTUAIS                       478 non-null float64\n",
      "LICENÇA PRÊMIO INDENIZADA                  478 non-null float64\n",
      "ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES    478 non-null float64\n",
      "REDUTOR SALARIAL                           478 non-null float64\n",
      "TOTAL LIQUÍDO (R$)                         478 non-null float64\n",
      "dtypes: float64(7), object(10)\n",
      "memory usage: 67.2+ KB\n"
     ]
    }
   ],
   "source": [
    "df_todos_fundacoes.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 1751 entries, 0 to 1735\n",
      "Data columns (total 17 columns):\n",
      "NOME                                       1751 non-null object\n",
      "CARGO PERMANENTE                           0 non-null object\n",
      "CARGO OU FUNÇÃO EM COMISSÃO                1751 non-null object\n",
      "UNIDADE DE TRABALHO                        1750 non-null object\n",
      "AFASTADO P/ OUTROS ÓRGÃOS                  1751 non-null object\n",
      "ÓRGÃO - DESTINO DE AFASTAMENTO             219 non-null object\n",
      "nome_orgao                                 1751 non-null object\n",
      "nat_juridica                               1751 non-null object\n",
      "CARGO.1                                    1751 non-null object\n",
      "CARGO                                      1751 non-null object\n",
      "REMUNERAÇÃO DO MÊS                         1751 non-null float64\n",
      "FÉRIAS E 13º SALÁRIO                       1751 non-null float64\n",
      "PAGAMENTOS EVENTUAIS                       1751 non-null float64\n",
      "LICENÇA PRÊMIO INDENIZADA                  1751 non-null float64\n",
      "ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES    1751 non-null float64\n",
      "REDUTOR SALARIAL                           1751 non-null float64\n",
      "TOTAL LIQUÍDO (R$)                         1751 non-null float64\n",
      "dtypes: float64(7), object(10)\n",
      "memory usage: 246.2+ KB\n"
     ]
    }
   ],
   "source": [
    "df_todos_empresas.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Números gerais deduzidos a partir do cruzamento dos dois conjuntos de dados:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Número de 'comissionados puros' (inclusive homônimos):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3108"
      ]
     },
     "execution_count": 66,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_irr_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "639"
      ]
     },
     "execution_count": 67,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_irr_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2030"
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_irr_empresas)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Número de 'comissionados puros' (inclusive homônimos) afastados [formalmente] para outros órgãos:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>NÃO</th>\n",
       "      <td>3089</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>SIM</th>\n",
       "      <td>19</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     AFASTADO P/ OUTROS ÓRGÃOS\n",
       "NÃO                       3089\n",
       "SIM                         19"
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_irr_autarquias['AFASTADO P/ OUTROS ÓRGÃOS'].value_counts().to_frame()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>NÃO</th>\n",
       "      <td>610</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>SIM</th>\n",
       "      <td>29</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     AFASTADO P/ OUTROS ÓRGÃOS\n",
       "NÃO                        610\n",
       "SIM                         29"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_irr_fundacoes['AFASTADO P/ OUTROS ÓRGÃOS'].value_counts().to_frame()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>NÃO</th>\n",
       "      <td>1757</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>SIM</th>\n",
       "      <td>273</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     AFASTADO P/ OUTROS ÓRGÃOS\n",
       "NÃO                       1757\n",
       "SIM                        273"
      ]
     },
     "execution_count": 71,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_irr_empresas['AFASTADO P/ OUTROS ÓRGÃOS'].value_counts().to_frame()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Número de 'comissionados puros' (exclusive homônimos):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2053"
      ]
     },
     "execution_count": 72,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_todos_autarquias)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "478"
      ]
     },
     "execution_count": 73,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_todos_fundacoes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1751"
      ]
     },
     "execution_count": 74,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_todos_empresas)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Valor médio da remuneração mensal dos 'comissionados puros' (exclusive homônimos):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4053.494383828544"
      ]
     },
     "execution_count": 75,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_autarquias['REMUNERAÇÃO DO MÊS'].mean()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "8888.1264853556477"
      ]
     },
     "execution_count": 76,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_fundacoes['REMUNERAÇÃO DO MÊS'].mean()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "15800.306961736153"
      ]
     },
     "execution_count": 77,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_empresas['REMUNERAÇÃO DO MÊS'].mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Valor médio da remuneração anual dos 'empregados em comissão' (inclusive homônimos):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "167.97680726585486"
      ]
     },
     "execution_count": 78,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_autarquias['REMUNERAÇÃO DO MÊS'].mean() * len(df_irr_autarquias) * (13 + 1/3) / 1e6"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "75.726837655230113"
      ]
     },
     "execution_count": 79,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_fundacoes['REMUNERAÇÃO DO MÊS'].mean() * len(df_irr_fundacoes) * (13 + 1/3) / 1e6"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "427.66164176432522"
      ]
     },
     "execution_count": 80,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_empresas['REMUNERAÇÃO DO MÊS'].mean() * len(df_irr_empresas) * (13 + 1/3) / 1e6"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Cria arquivo tratado e consolidado com as informações contidas nos dois conjuntos de dados referentes a todos os 'comissionados puros' (exclusive homônimos):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df_todos_autarquias.to_csv('outputs/Quadro-Funcionarios-Remuneracao-Autarquias.csv') # Exclusive homônimos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df_todos_fundacoes.to_csv('outputs/Quadro-Funcionarios-Remuneracao-Fundacoes.csv') # Exclusive homônimos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df_todos_empresas.to_csv('outputs/Quadro-Funcionarios-Remuneracao-Empresas.csv') # Exclusive homônimos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NOME</th>\n",
       "      <th>CARGO PERMANENTE</th>\n",
       "      <th>CARGO OU FUNÇÃO EM COMISSÃO</th>\n",
       "      <th>UNIDADE DE TRABALHO</th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "      <th>ÓRGÃO - DESTINO DE AFASTAMENTO</th>\n",
       "      <th>nome_orgao</th>\n",
       "      <th>nat_juridica</th>\n",
       "      <th>CARGO.1</th>\n",
       "      <th>CARGO</th>\n",
       "      <th>REMUNERAÇÃO DO MÊS</th>\n",
       "      <th>FÉRIAS E 13º SALÁRIO</th>\n",
       "      <th>PAGAMENTOS EVENTUAIS</th>\n",
       "      <th>LICENÇA PRÊMIO INDENIZADA</th>\n",
       "      <th>ABONO PERMANÊNCIA &amp; OUTRAS INDENIZAÇÕES</th>\n",
       "      <th>REDUTOR SALARIAL</th>\n",
       "      <th>TOTAL LIQUÍDO (R$)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ADELIA MENEGARIO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSISTENTE ADMINISTRATIVO</td>\n",
       "      <td>ESCOLA TÉCNICA ESTADUAL JOSÉ MARTINIANO DA SILVA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA...</td>\n",
       "      <td>Autarquia</td>\n",
       "      <td>CEETEPS</td>\n",
       "      <td>ASSISTENTE ADMINISTRATIVO</td>\n",
       "      <td>2145.36</td>\n",
       "      <td>1430.24</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>3243.08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ADRIANO GRECCO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>DIRETOR DE SERVICO</td>\n",
       "      <td>ESCOLA TÉCNICA ESTADUAL CÔNEGO JOSÉ BENTO</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA...</td>\n",
       "      <td>Autarquia</td>\n",
       "      <td>CEETEPS</td>\n",
       "      <td>DIRETOR DE SERVICO</td>\n",
       "      <td>4191.87</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>3511.58</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               NOME CARGO PERMANENTE CARGO OU FUNÇÃO EM COMISSÃO  \\\n",
       "0  ADELIA MENEGARIO              NaN   ASSISTENTE ADMINISTRATIVO   \n",
       "1    ADRIANO GRECCO              NaN          DIRETOR DE SERVICO   \n",
       "\n",
       "                                UNIDADE DE TRABALHO AFASTADO P/ OUTROS ÓRGÃOS  \\\n",
       "0  ESCOLA TÉCNICA ESTADUAL JOSÉ MARTINIANO DA SILVA                       NÃO   \n",
       "1         ESCOLA TÉCNICA ESTADUAL CÔNEGO JOSÉ BENTO                       NÃO   \n",
       "\n",
       "  ÓRGÃO - DESTINO DE AFASTAMENTO  \\\n",
       "0                            NaN   \n",
       "1                            NaN   \n",
       "\n",
       "                                          nome_orgao nat_juridica  CARGO.1  \\\n",
       "0  CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA...    Autarquia  CEETEPS   \n",
       "1  CEETEPS - CENTRO DE EDUCAÇÃO TECNOLÓGICA PAULA...    Autarquia  CEETEPS   \n",
       "\n",
       "                       CARGO  REMUNERAÇÃO DO MÊS  FÉRIAS E 13º SALÁRIO  \\\n",
       "0  ASSISTENTE ADMINISTRATIVO             2145.36               1430.24   \n",
       "1         DIRETOR DE SERVICO             4191.87                  0.00   \n",
       "\n",
       "   PAGAMENTOS EVENTUAIS  LICENÇA PRÊMIO INDENIZADA  \\\n",
       "0                   0.0                        0.0   \n",
       "1                   0.0                        0.0   \n",
       "\n",
       "   ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES  REDUTOR SALARIAL  \\\n",
       "0                                      0.0               0.0   \n",
       "1                                      0.0               0.0   \n",
       "\n",
       "   TOTAL LIQUÍDO (R$)  \n",
       "0             3243.08  \n",
       "1             3511.58  "
      ]
     },
     "execution_count": 84,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_autarquias.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NOME</th>\n",
       "      <th>CARGO PERMANENTE</th>\n",
       "      <th>CARGO OU FUNÇÃO EM COMISSÃO</th>\n",
       "      <th>UNIDADE DE TRABALHO</th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "      <th>ÓRGÃO - DESTINO DE AFASTAMENTO</th>\n",
       "      <th>nome_orgao</th>\n",
       "      <th>nat_juridica</th>\n",
       "      <th>CARGO.1</th>\n",
       "      <th>CARGO</th>\n",
       "      <th>REMUNERAÇÃO DO MÊS</th>\n",
       "      <th>FÉRIAS E 13º SALÁRIO</th>\n",
       "      <th>PAGAMENTOS EVENTUAIS</th>\n",
       "      <th>LICENÇA PRÊMIO INDENIZADA</th>\n",
       "      <th>ABONO PERMANÊNCIA &amp; OUTRAS INDENIZAÇÕES</th>\n",
       "      <th>REDUTOR SALARIAL</th>\n",
       "      <th>TOTAL LIQUÍDO (R$)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>GUILHERME CONTI</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ASSESSOR DE NOVAS MIDIAS I</td>\n",
       "      <td>LICENCIAMENTO DE CONTEUDO E MARCA</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>FUNDAÇÃO PADRE ANCHIETA - RÁDIO E TV EDUCATIVAS</td>\n",
       "      <td>Fundação</td>\n",
       "      <td>PE. ANCHIETA</td>\n",
       "      <td>ASSESSOR DE NOVAS MIDIAS I</td>\n",
       "      <td>1151.41</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1025.29</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ALEXANDRE ROCCATTO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>GERENTE DE AREA CIENTIFICA</td>\n",
       "      <td>FAPESP</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>FAPESP - FUNDAÇÃO DE AMPARO À PESQUISA DO ESTA...</td>\n",
       "      <td>Fundação</td>\n",
       "      <td>FAPESP</td>\n",
       "      <td>GERENTE DE  REA CIENT FICA</td>\n",
       "      <td>20080.05</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>4946.24</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                 NOME CARGO PERMANENTE CARGO OU FUNÇÃO EM COMISSÃO  \\\n",
       "0     GUILHERME CONTI              NaN  ASSESSOR DE NOVAS MIDIAS I   \n",
       "0  ALEXANDRE ROCCATTO              NaN  GERENTE DE AREA CIENTIFICA   \n",
       "\n",
       "                 UNIDADE DE TRABALHO AFASTADO P/ OUTROS ÓRGÃOS  \\\n",
       "0  LICENCIAMENTO DE CONTEUDO E MARCA                       NÃO   \n",
       "0                             FAPESP                       NÃO   \n",
       "\n",
       "  ÓRGÃO - DESTINO DE AFASTAMENTO  \\\n",
       "0                            NaN   \n",
       "0                            NaN   \n",
       "\n",
       "                                          nome_orgao nat_juridica  \\\n",
       "0    FUNDAÇÃO PADRE ANCHIETA - RÁDIO E TV EDUCATIVAS     Fundação   \n",
       "0  FAPESP - FUNDAÇÃO DE AMPARO À PESQUISA DO ESTA...     Fundação   \n",
       "\n",
       "        CARGO.1                       CARGO  REMUNERAÇÃO DO MÊS  \\\n",
       "0  PE. ANCHIETA  ASSESSOR DE NOVAS MIDIAS I             1151.41   \n",
       "0        FAPESP  GERENTE DE  REA CIENT FICA            20080.05   \n",
       "\n",
       "   FÉRIAS E 13º SALÁRIO  PAGAMENTOS EVENTUAIS  LICENÇA PRÊMIO INDENIZADA  \\\n",
       "0                   0.0                   0.0                        0.0   \n",
       "0                   0.0                   0.0                        0.0   \n",
       "\n",
       "   ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES  REDUTOR SALARIAL  \\\n",
       "0                                      0.0               0.0   \n",
       "0                                      0.0               0.0   \n",
       "\n",
       "   TOTAL LIQUÍDO (R$)  \n",
       "0             1025.29  \n",
       "0             4946.24  "
      ]
     },
     "execution_count": 85,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_fundacoes.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NOME</th>\n",
       "      <th>CARGO PERMANENTE</th>\n",
       "      <th>CARGO OU FUNÇÃO EM COMISSÃO</th>\n",
       "      <th>UNIDADE DE TRABALHO</th>\n",
       "      <th>AFASTADO P/ OUTROS ÓRGÃOS</th>\n",
       "      <th>ÓRGÃO - DESTINO DE AFASTAMENTO</th>\n",
       "      <th>nome_orgao</th>\n",
       "      <th>nat_juridica</th>\n",
       "      <th>CARGO.1</th>\n",
       "      <th>CARGO</th>\n",
       "      <th>REMUNERAÇÃO DO MÊS</th>\n",
       "      <th>FÉRIAS E 13º SALÁRIO</th>\n",
       "      <th>PAGAMENTOS EVENTUAIS</th>\n",
       "      <th>LICENÇA PRÊMIO INDENIZADA</th>\n",
       "      <th>ABONO PERMANÊNCIA &amp; OUTRAS INDENIZAÇÕES</th>\n",
       "      <th>REDUTOR SALARIAL</th>\n",
       "      <th>TOTAL LIQUÍDO (R$)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>JORGE LUIZ AVILA DA SILVA</td>\n",
       "      <td>NaN</td>\n",
       "      <td>DIRETOR PRESIDENTE</td>\n",
       "      <td>COMPANHIA PAULISTA DE SECURITIZAÇÃO</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>COMPANHIA PAULISTA DE SECURITIZAÇÃO</td>\n",
       "      <td>Empresa</td>\n",
       "      <td>CPSEC</td>\n",
       "      <td>DIRETOR PRESIDENTE</td>\n",
       "      <td>20590.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>30885.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>14927.75</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>JORGE LUIZ AVILA DA SILVA</td>\n",
       "      <td>NaN</td>\n",
       "      <td>CONSELHEIRO DE ADMINISTRACAO</td>\n",
       "      <td>COMPANHIA PAULISTA DE SECURITIZAÇÃO</td>\n",
       "      <td>NÃO</td>\n",
       "      <td>NaN</td>\n",
       "      <td>COMPANHIA PAULISTA DE SECURITIZAÇÃO</td>\n",
       "      <td>Empresa</td>\n",
       "      <td>CPSEC</td>\n",
       "      <td>CONSELHEIRO DE ADMINISTRACAO</td>\n",
       "      <td>6177.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>5451.96</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                        NOME CARGO PERMANENTE   CARGO OU FUNÇÃO EM COMISSÃO  \\\n",
       "0  JORGE LUIZ AVILA DA SILVA              NaN            DIRETOR PRESIDENTE   \n",
       "1  JORGE LUIZ AVILA DA SILVA              NaN  CONSELHEIRO DE ADMINISTRACAO   \n",
       "\n",
       "                   UNIDADE DE TRABALHO AFASTADO P/ OUTROS ÓRGÃOS  \\\n",
       "0  COMPANHIA PAULISTA DE SECURITIZAÇÃO                       NÃO   \n",
       "1  COMPANHIA PAULISTA DE SECURITIZAÇÃO                       NÃO   \n",
       "\n",
       "  ÓRGÃO - DESTINO DE AFASTAMENTO                           nome_orgao  \\\n",
       "0                            NaN  COMPANHIA PAULISTA DE SECURITIZAÇÃO   \n",
       "1                            NaN  COMPANHIA PAULISTA DE SECURITIZAÇÃO   \n",
       "\n",
       "  nat_juridica CARGO.1                         CARGO  REMUNERAÇÃO DO MÊS  \\\n",
       "0      Empresa   CPSEC            DIRETOR PRESIDENTE             20590.0   \n",
       "1      Empresa   CPSEC  CONSELHEIRO DE ADMINISTRACAO              6177.0   \n",
       "\n",
       "   FÉRIAS E 13º SALÁRIO  PAGAMENTOS EVENTUAIS  LICENÇA PRÊMIO INDENIZADA  \\\n",
       "0                   0.0               30885.0                        0.0   \n",
       "1                   0.0                   0.0                        0.0   \n",
       "\n",
       "   ABONO PERMANÊNCIA & OUTRAS INDENIZAÇÕES  REDUTOR SALARIAL  \\\n",
       "0                                      0.0               0.0   \n",
       "1                                      0.0               0.0   \n",
       "\n",
       "   TOTAL LIQUÍDO (R$)  \n",
       "0            14927.75  \n",
       "1             5451.96  "
      ]
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_todos_empresas.head(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "===== // ====="
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}