Web Scraping With Python and BeautifulSoup Library

Standard

apython

Some time ago i wrote a post about web crawling using google´s api (See here). However, it lacks of HTML labels recognition support and it becomes tedious to find key components on web pages.

In this post, i will try to show you how to successfully recognize web page’s key HTML labels such as title, div, etc using a library named BeautifulSoup using the programming language Python. For this reason, we need to have basic HTML and python knowledge. For experiment purposes i will be using the native python installation on OSX 10.11.5 “El Capitan”. Continue reading

Postgres Connection from Python

Standard

python

In this tutorial i will try to show you how to connect and interact with a Postgresql database from an small python program, by using the psycopg2 library. We can see how to install it from the official site.

Now, the following step is to create a test database, by using the next commands.

create database test;
\c test
create table departments(id int, name varchar(50));
create table users(id int, id_dep int, name varchar(50), income float);

insert into departments values(1,'dep1');
insert into departments values(2,'dep2');
insert into departments values(3,'dep3');
insert into departments values(4,'dep4'); Continue reading

PIL in Python

Standard

What is PIL?

I have been lately interested on image processing for personal purposes. My first thought was to go directly with Matlab… but, besides it needs like 5gb+ to download, it’s licenced… so it wasn’t an option anymore.

After a little research of tools for image processing i found an easy one… Python and his library “Python Imaging Library”, better known as just “PIL”. PIL basically adds image processing capabilities to our Python interpreter. This library supports many file formats, and provides powerful image processing and graphics capabilities.

We can get PIL directly from the official download page –> here, or directly from our console using the pip program, just like this: $pip install pillow

My specific objective to look for an image processing tool was just to remove background from several images. More specific… obtain the image’s silhouette, which resulted very easy to implement in python.

Obtaining Silhouettes!

The first step in this process is to import our PIL library in our python file (.py).

from PIL import Image

After that, we are ready to open up our source image specifying the directory, name and extension. Continue reading

Una herramienta para exportar código en SQL

Standard

Hola, mi nombre es Daniel López. Soy desarrollador de software e investigador (a.k.a Auror) en Hunabsys R&D. Tengo trabajando en la empresa desde Octubre del 2014 y ha sido toda una experiencia. En el viaje, me he topado con varios retos de programación, hoy les pienso compartir uno de ellos. Mi experiencia hablando Pársel, o como los muggles lo llaman: programando en Python (¡Así es Victor! Hice una publicación al respecto, maldito sangre sucia).

¿Qué y por qué?

En un enunciado: La idea fue pasar un modelo de base de datos en SQL a su versión en SQLite en Android. Si desconoces de SQLite y como integrar una base de datos en esta tecnología con Android, te encuentras en donde yo estaba. En caso contrario, quizá pienses: Fácil!, ¿cierto? ¡No tanto! Como bien dicen, el diablo está en los detalles y el detalle de este problema es cómo y qué tan fácil puede crecer el archivo SQL. Antes de empezar esta trágica historia de un programador en su viaje para encontrar la sabiduría y la iluminación, recapitulemos. Una base de datos es el componente que permite almacenar y consultar información en una aplicación. Debido a que estas operaciones son frecuentes, se opta por utilizar una herramienta conocida como magia! O si eres de Gryffindor la conoces como sistemas gestores de base de datos (SGBD). Los SGBDs representan la información como tablas. Existen diferentes SGBDs (como MySQL y SQLite), así como herramientas para el diseño de estos gestores. Nosotros en Hunabsys utilizamos MySQL Workbench para el diseño de la base de datos. Por último, si has vivido en las cavernas del banco de Gringotts,  Android un sistema operativo que permite la administración de un dispositivo móvil y otros electrónicos (TV, tablets, refrigeradores y uno que otro tejón mutante). Continue reading