Wednesday, January 6, 2010

Now I know how to mine data

There's just too many techniques on how you can do data mining. In grad school we only got to know 1 technique - by using artificial neural network. There's a tool for this - Weka. Download and install it or sudo apt-get it (yes imagine my surprise when I found out about this).

What's data mining?


Well, basically it's a process to get a knowledge (eg. if customers buy diapers, most likely they will buy beers too) from your data (imagine spreadsheets filled with numbers and strings). You may have thousands of records but how do you make sense of it? You mine those data, and get a pattern. From there you'll get a knowledge. So from this you can put beers next to diapers in supermarkets to increase sales. That's the general idea.

There's a 90% chance that the data you got is not cleaned aka there's missing values, some data are not consistent (eg. in sex can only have F or M, there's a value Q?), and some data are just plain rubbish. The data need to go through preprocessing stage. For missing values, you have to filled them up, either using mean or median values, whichever is best for your data. The same goes to inconsistent data. This is where working with experts in the domain you're working in is very important. You don't want to remove what you think is rubbish but it actually means something.

Then we have data discretization process where you reduce that huge amount of data but they still carry the same value. Afterwards we normalize the data. After this is done, then the data is ready for the modelling exercise.

Classification


One of the benefit you get from data mining is classification. It's where you can predict if you have this data (eg. male, married, doesn't have children, have regularly purchase beer for the past year) whether beer purchase is likely. So it will classify to something like this purchase_beer equals to 0 (no) or 1 (yes). In order for the model to predict 0 or 1, the model itself has to be trained with alot of data. Train it until it reaches the accuracy we want, above 90% is good. A trained model with very high accuracy is going to be an asset as you can feed it data and it will spit out what we want.

The most difficult part in doing this for me is the data preprocessing part. You have to have quality cleaned data to produce quality results. You have to carefully select which kind of data is relevant to your goal (eg. would you want to include one's job as one of the attributes considered for the diapers-beers example?) which is why having domain experts is important. They also have to determine how each data should affect the result (eg. job probably affects 10% but marital status affects 80% towards diapers-beers purchase).

I just love AI


There are just so many preprocessing methods & data mining hybrid techniques already been researched by academicians. I'm just so overwhelmed by the amount of technical papers on this. They probably not so much IT savvy like us, the implementors as they call it, but they definitely have the brain on that part of the world. We just have to scour through this massive database and get it to run on our apps. Well, should you need it that is. Coz processing thousands of data can take hours or days, some months, depending on your machine spec.

Open data


While doing data mining assignment last 2 weeks, I became frustrated with the unavailability of data in Malaysia. Sad. Maybe it's still difficult for us to see it now, I'm already imagining all the stuff we can do with those data like in JPA, MOHR, MOH, MOHE - fuhhhh I'm all shuddery now. Even in OSCC, those training feedback forms and MyGOSSCON feedback forms - hmm whatever happened to those?

There are concerns of exposing private data I guess. Well, if you ask me make the data anonymous, as I couldn't care less who got promoted last year. I only want the 'spec' of that person who got promoted - age, sex, location, department, salary, is he respected by peers, does he drive, etc, that kind of stuff, you get the idea.

Hmm.. this will take another 10 years to realise, I think.

37 comments:

  1. Abdullah Zainul Abidin7/1/10 1:13 AM

    Wow.. that is interesting stuff...Makes me feel like I want to continue my studies too.. >.<

    ReplyDelete
  2. Is it accurate to say that we are required to advise? I don't get notification's meaning?
    data hk

    ReplyDelete
  3. Pasarqq tempat Bermain judi bandarq online tentunya menjadi di antara pilihan yang tidak sedikit dipilih oleh pemain website bandarq .Bisa anda lihat profile terkait pasarqq ternama melalui metode klik link https://findery.com/pasarqq , lalu https://www.thebaynet.com/profile/noverakasanti888 kemudian https://fontlibrary.org/en/member/pasarqq/ dan juga http://www.myfolio.com/pasarqq.
    Selain itu juga pasarqq ini memiliki homepage personal seperti https://pasarqq.cabanova.com/
    http://rebuildingtogethernb.org/selamat-datang-di-situs-poker-online-pasarqq/
    http://sonidoslibertarios.org/selamat-datang-di-situs-poker-online-pasarqq/
    http://jonnymugwump.com/selamat-datang-di-situs-poker-online-pasarqq/

    ReplyDelete
  4. Poker online situs terbaik yang kini dapat dimainkan seperti Bandar Poker yang menyediakan beberapa situs lainnya seperti http://62.171.128.49/hondaqq/ , kemudian http://62.171.128.49/gesitqq/, http://62.171.128.49/gelangqq/, dan http://62.171.128.49/seniqq. yang paling akhir yaitu http://62.171.128.49/pokerwalet/. Jangan lupa mendaftar di panenqq

    ReplyDelete
  5. Очень потрясающиеи к тому же поразительно точнейшие онлайн гадания для предсказания своего будущего - это непременно то, что поразит тебя на страницах нашего сайта. Гадание по часам оказывается действенным приятным и легким способом для получения важных информаций из ментального поля земли.

    ReplyDelete
  6. Все виды гадания именуются как мистические учения. Каждый образ гадания эксклюзивен и подготовлен для разного рода результатов. Гадание на личную жизнь руны и точность предсказаний судьбы в основном зависит от опыта гадающего. Любой мечтает просмотреть собственную судьбу и представляет конкретные варианты гадания более результативными.

    ReplyDelete
  7. Thank you for the helpful article. And I recently launched a new website, an online audio Converter https://youtube-to-mp3-converter.com/. This is a Youtube 2 mp3 Converter that lets you download music to your iPhone or computer.

    ReplyDelete
  8. Синоптичные катаклизмы или ритуальные убийства животных со временем основали определенное трактование увиденного. Гадание на мужчину онлайн бесплатно правдивое является наиболее достоверным способом предсказать грядущее человека. Самые важные приемы хиромантии возникли тысячи лет назад до нашей эры.

    ReplyDelete
  9. Далее показаны глобальные преимущества коммуникации с нашей компанией. Возьмите максимальные выгоды только лишь тут садовые раскладные кресла купить. Широкий количество строительных принадлежностей для коммунальной сферы.

    ReplyDelete
  10. Исключительно надежные фирмы реализуют свою деятельность на сервисе «SkoroDengi». Используя услуги займ с моментальным решением, любой желающий имеет возможность быстро отобрать требуемые предложения по микрокредиту. Получайте деньги на карту для любых целей.

    ReplyDelete
  11. Каждый стремится предугадать свою судьбу и воспринимает конкретные способы хиромантии по максимуму действенными. Ворожба разрешает просмотреть, что вас ждет в ближайшем времени. Услуги таролога это способ увидеть предстоящие явления непрерывно заманивал род человеческий.

    ReplyDelete
  12. Только лишь на текущей платформе casino x официальный казино вы сможете погрузиться в фантастические приключения. Колесо фортуны – максимально востребованный игральный аппарат среди виртуальных игрушек CasinoX.com. Красочное меню и скоростной поиск – это гарантированный способ выбрать интересную интерактивную игру.

    ReplyDelete
  13. Онлайн-казино имеют громадную популярность во всем мире. Развитие новейших технологий дает возможность игровым площадкам конкретно оптимизировать предоставляемые услуги. Casino x android – воспользуйтесь шансом защищенной игры и выигрывайте серьезные суммы.

    ReplyDelete
  14. Декорируют стены и пол керамикой прежде всего из-за её физических свойств. Ради того чтобы купить плитку в магазине sotni.ru, необходимо просто посетить официальный сайт производителя. Ровная и гладенькая плоскость очень легко моется. Любой посетитель, приобретая керамику в интернет-магазине плитка для ванной cersanit купить, получает в самом деле хороший товар.

    ReplyDelete
  15. Вот ещё небольшое количество главных плюсов http://tvtv16.com/home.php?mod=space&uid=302858, которыми отличается отделочная плитка. Экологически чистый материал, вполне безопасен для проживающих. Керамику делают в общем из природных веществ. Керамогранит возможно использовать в залах организаций столовых, в школах и детских садах.

    ReplyDelete
  16. ЭТО НАДО ВИДЕТЬ: ПРОДЮСЕР И КИНОМАН РЕНАТА ПИОТРОВСКИ О ЛУЧШИХ НОВЫХ ФИЛЬМАХ СЕЗОНА И НОВОСТЯХ ИНДУСТРИИ. ИСТОЧНИК HTTPS://RUSEVIK.RU/NEWS/655631

    ReplyDelete
  17. На портале https://www.projector24.ru/proektory/jvc-dlya-domashnego-kinoteatra/ расположено большое количество полезных материалов по подбору видеопроекторов. До покупки проекционной установки можно оценить показ особенностей устройства. Неопытный пользователь не сможет подключить проектор, понадобится серьезный набор квалификации.

    ReplyDelete
  18. Стала известна дата премьеры сериала "Чикатило" Сарика Андреасяна. Источник https://newstes.ru/2021/02/24/stala-izvestna-data-premery-seriala-chikatilo-sarika-andreasjana.html

    ReplyDelete
  19. Продукты для стряпни курицы недорогие, достаточно всего лишь курица и немного приправы. Придется замариновать мясо и положить необходимых пряностей по вкусу. Поджарить сочную курочку без особенных сложностей на редкость легко курица в сырном соусе. Внесите необходимый компонент для создания нестандартного аромата, например, листья шафрана. Главная тайна находится в самой системе обжарки.

    ReplyDelete
  20. Кухонный инвентарь стоит символично разбить на несколько типов – для декорирования и используемые по назначению, для суточного использования. Наиболее банальный пример – на каждой кухне конечно имеется электрочайник. На портале маркетплейса Maksiden запросто выбрать https://www.ozon.ru/seller/maksiden-73648/sushilki-dlya-belya-14627/ по наиболее оптимальной цене.

    ReplyDelete
  21. На портале маркетплейса Maksiden возможно выбрать купить лимонадницу с краником муза по наиболее актуальной цене. Кухонные аксессуары правильно символически поделить на две крупные категории – как декорации и используемые на практике, для суточного использования. Наиболее практичный пример – на каждой кухне обязательно стоит электрочайник.

    ReplyDelete
  22. На сайте создана онлайн система расчетов при покупке Ж/Д билетов. Персональные данные клиентов представлена в шифрованном виде, из-за этого высший уровень сохранности гарантирован. Персональная касса работает ежедневно, вам не потребуется стоять несколько часов в очередях, чтобы бронировать https://biletynapoezda.ru/serov-moskva/.

    ReplyDelete
  23. Приобрести необходимый инвентарь для отдыха на природе вы сможете по средствам огромного каталога снаряжения для оздоровительного досуга маркетплейса МегаМаг. Классические игры и атрибутика для групповых игр обязательно понадобятся на открытом воздухе. Кстати, вам может пригодиться перчатки мма купить спортмастер, все будет определяться от точного места отдыха.

    ReplyDelete
  24. VarangaOfficial - варанга купить - исключительно достоверные, проверенные факты. Воспользовавшись нашим ресурсом, вы сможете узнать обстоятельную информацию касательно этого натурального лекарственного комплекса. Увидеть данные о клиническом тестировании геля, прочесть отзывы реальных пациентов и врачей. Изучить инструкцию по применению, прочесть об особенностях и методах работы мази, уяснить, в чем заключаются особенности работы крема Варанга, где необходимо заказывать сертифицированный, оригинальный препарат и, как не нарваться на фальсифицированный товар. Мы очень тщательно проверяем размещаемые данные. Предоставляем пользователям нашего ресурса сведения, почерпнутые только из авторитетных источников. Если вы обнаружили у себя признаки грибка или уже довольно продолжительное время, без ощутимых результатов пытаетесь избавиться от этого досадного недуга, наш сайт покажет вам простой и быстрый способ решения проблемы. Присоединяетесь и живите здоровой полноценной жизнью. Теперь все ответы можно отыскать на одном сайте.

    ReplyDelete
  25. Рыбные продукты являются ценнейшим источником йода для людей. Лишь в онлайн-магазине купить оптом консервы рыбные вы сумеете найти икру и рыбу высокого качества! Дары моря являются важнейшим источником качественного белка и полезных питательных элементов. Рыбные дары больше всего полезны малышам и спортсменам.

    ReplyDelete
  26. Придется всего лишь сформировать перечень соответствующих заявлений для поступления. Полный перечень бумаг для оформления возможно увидеть на центральной странице сайта Info Study обучение в сша год. Для множества абитуриентов поступление в образовательное учреждение Америке может считаться невыполнимой мечтой. За один раз возможно подавать заявки в два и более университетов.

    ReplyDelete
  27. С целью написания заявления на вступление и сдачу главных тестов, абитуриенту понадобится позвонить в проект «Инфо Стади». Абитуриенту достаточно сдать языковые экзамены для попадания в университет Канады. Показав хороший уровень мастерства студент легко поступит в учебные учреждения страны. https://ruftv.ru/2021/04/23/universitety-kanady-gde-poluchit-obrazovanie.html считается идеальным способом успешного прохождения экзаменов.

    ReplyDelete
  28. На страницах интернет-магазина Яндекса всякий покупатель может подобрать нужные вещи для кухни и спорта. Бытовые изделия для всех желающих доступны по оптимально благоприятным ценам интернет-магазина Яндекса. Также хлебница купить в перми потребуется в каждой квартире, в особенности, если вы ожидаете друзей.

    ReplyDelete