Data mining как новое направление в современной науке и технике

 
1 2 3
+
-
edit
 

digger

опытный

А что это есть с точки зрения работы,т.е. в объявлениях о требования опыта в таковом?
 21.021.0
+
-
edit
 

Полл

литератор
★★★
Переформулируй, я тебя не понял.
 
+
-
edit
 

digger

опытный

Объявление о работе, "требуется опыт в data mining".
 21.021.0
+
-
edit
 

Полл

литератор
★★★
digger> Объявление о работе, "требуется опыт в data mining".
Программирование ПО, либо использование пакетов ПО для дата майнинга. Либо аналитика: сбор информации, анализ задачи, поиск параметров решений.
 
+
-
edit
 

digger

опытный

А в какой области это обычно и что софт ищет в данных? Мне кажется,что шерстит анкеты и распечатки на предмет предпочитаемого спама, грубо говоря, в особенности в банковском секторе, там данных на человека море.
 21.021.0
+
-
edit
 

Полл

литератор
★★★
digger> А в какой области это обычно и что софт ищет в данных...
Нельзя так сказать.
 
RU просто спокойный тип #01.07.2013 09:03  @digger#30.06.2013 20:51
+
-
edit
 

просто спокойный тип
Спокойный_Тип

старожил

digger> Объявление о работе, "требуется опыт в data mining".

обявления звучат примерно так

в производственную компанию работающую в области ХХХХ требуется бизнес аналитик в MDM (master data management) team или MIS (management information system) team , требуется знание бизнес процессов в области ХХХ , опыт успешной работы в проектах по внедрениею CАП \ Зибель \ кликвью не менее YYY и тп и тд
If plan A didn't work , the alphabet has 25 more letters ! so stay cool  21.021.0
IL digger #01.07.2013 17:01  @спокойный тип#01.07.2013 09:03
+
-
edit
 

digger

опытный

Я далек от этих областей, объясните,пожалуйства, что это такое.Гуглить лень.
 21.021.0
RU просто спокойный тип #02.07.2013 20:45  @digger#01.07.2013 17:01
+
+1
-
edit
 

просто спокойный тип
Спокойный_Тип

старожил

digger> Я далек от этих областей, объясните,пожалуйства, что это такое.Гуглить лень.

ЦРУ — большие задачи и большие данные. На пути к созданию глобального информационного колпака

Айра Гас Хант (Ira Gus Hunt), действующий Директор по технологиям ЦРУ, рассказывает о своем видении Big Data на службе ЦРУ, а также возникающие при этом задачи... // habrahabr.ru
 
If plan A didn't work , the alphabet has 25 more letters ! so stay cool  21.021.0
+
-
edit
 

Voennich

опытный


Business Inteligence (BI) как область деятельности/знаний
BigData как передовой marketing bullshit термин :)
Data Mining / Data Analysis как базовый компонент обработки данных
Master Data Management - технологии и инструменты "нормализации" данных

общая картинка например тут BI. Технологии

из обсуждения на одном из форумов "где брать специалистов по DataMining/DataAnalysis?" ответ "yandex/rambler или выращивать самому после мехмата"
 27.0.1453.11627.0.1453.116
+
-
edit
 

stas27

эксперт
★☆
Полл> В применяемых методах обработки информации.

Что-то я тоже не понял. Вот исходная статья (прилеплена). Главный упор - собственно создание БД и оцифровывание 3 млрд музейных экспонатов, как я понял. Хотя смотрел по диагонали - если нужное проглядел - mea culpa.
Прикреплённые файлы:
14772000%2E2012%2E665095.pdf (скачать) [327,07 кбайт, 356 загрузок] [attach=340284]
 
 
С уважением, Стас.  27.0.1453.11627.0.1453.116

KDvr

втянувшийся

Вот, кстати, в Берлине как-раз конференция сейчас идет по Дата-Майнингу.
Вчера были результаты чемпионата Data-Mining CUP в рамках конференции.
В вузах на факультетах с IT спецификой изучают Data-Mining (это я про Германию).

Программа конференции Data-Mining-CUP (Maritim proArte Hotel, Berlin)
 8.08.0

digger

опытный

Я так и думал,сплошной маркетинг.
 22.022.0
+
+1
-
edit
 

Mishka

модератор
★★☆

digger> Я так и думал,сплошной маркетинг.
Не, не сплошной, но одна из самых больших областей. Начало лежит в казино. Там тоже именно с целью втюхать услуги. Начали делать очень давно. :) Долгое время одной из главных задач было возможность работы с неполными и неполноценными даными. Т.е. это не RDB со всеми её ограничениями и формами. Могли быть нарушения, могло быть просто отстуствие данных. А так — просто ставится задача, под неё строится матмодель, потом уже по модели ведётся анализ и обработка данных. Т.е. надо понимать все этапы — как собирались даные, как фунциклирует "бизнес", что нам важно из этого, что ищем. Т.е. это даже не половина ответа, а все 60-70%.
 21.021.0

Unix

втянувшийся

digger>> Я так и думал,сплошной маркетинг.
Mishka> Не, не сплошной, но одна из самых больших областей.

РебятЫ ... чего вы как маленькие то :-) Почитайте про (чего там нынче в тренде?) - про Cloud Computing к примеру ... digger с такой нежной психикой загремите в психушку :) Иммунитет надо на всё это иметь!

А по делу - я вот чего добавить хочу (IMHO важный момент!) - для $subj big data требуется, на малых не намайдишь особо ... Я тут инженеГрил на одну компашку, там *.tar.gz логов ежедневно > 6 TB собиралось. Очень интересные закономерности находились :) В общем - захватывающее это дело!

PS: Есть команда змеев ползучих ( питонщиков :) ) - они делали продукт для студней чтоб почувствовать чегой это то такое. Апельсин. Рекомендую.
 22.022.0
RU Памятливый45 #07.07.2013 18:09  @TEvg-2#26.06.2013 14:16
+
-1
-
edit
 

Памятливый45

злопамятливый
☆★★
TEvg-2> Потребовалась дополнительная мощность - покупаем за биткоины электричество из внешней сети.

Не знаю, что такое майнинг и почем котируютя биткоины, но полагаю , что вам надо на эту тему сделать сообщение в разделе Ценообразования и определтбся будут ли обмен мощности осуществлять на основе себестоимости или потребительской стоимостьи электроэнергии?
 
+
0 (+1/-1)
-
edit
 

digger

опытный

Все равно не понял, какие данные собираются в данной науке и какая информация из них вытаскивается, кроме маркетинговой про юзеров.По рабоче-крестьянски объясните.

> питонщиков

Работать с программами,интенсивными по вычислениям и объемам ,используя скрипт - это мазохизм.Хотя я писал себе скриптик,который работал десятки минут и жрал десятки мегабайт,исключительно из-за легкости написания и неспешности.
 22.022.0
+
-
edit
 

Balancer

администратор
★★★★☆
digger> Работать с программами,интенсивными по вычислениям и объемам ,используя скрипт - это мазохизм.

Python — весьма непохо себя ведёт в научных расчётах. Это качественный и удобный скриптовый клей для вызова низкоуровневых (и, собственно, высокопроизводительных) библиотек, типа SciPy, NumPy и т.п.

Хотя, вот, в облако он масштабируется уже не так хорошо, как Erlang, JS (NodeJS) или даже Java.
 28.0.1500.7128.0.1500.71
+
+1
-
edit
 

digger

опытный

Скрипт непрозрачен,в отличие от компилируемых языков.Я не знаю,как работает встроенная коллекция на миллион строк и поиск в ней и как она поведет себя при росте размеров.Написать что-нибудь на коленке для домашнего пользования - ОК,максимум зависнет,но не в коммерческом изделии с подобными функциями.Иногда даже библиотекам С не доверяют и пишут коллбэки для некоторых платформ.Про скрипт и профессиональные библиотеки для него - согласен, они на то расчитаны.Но, с другой стороны, бесплатные библиотеки не дают гарантии,а вдруг у клиента зависнет или вылетит с фатальными последствиями.
 22.022.0
+
+1
-
edit
 

Balancer

администратор
★★★★☆
digger> Скрипт непрозрачен,в отличие от компилируемых языков.

Ну, вообще, «прозрачность» «компилируемых» языков (я понимаю твой контекст, а то Питон — тоже компилируемый ;) ) кончилась лет 15 назад. Собственно, я в те времена с них и слез.

digger> Я не знаю,как работает встроенная коллекция на миллион строк и поиск в ней

Прочти документацию :) В любом случае, ты и в Std в C не знаешь, как оно устроено.

digger> и как она поведет себя при росте размеров

А как она себя поведёт при многопроцессной обработке? Или ты планируешь в наш век многоядерников на одном ядре всё крутить?

digger> Написать что-нибудь на коленке для домашнего пользования - ОК,максимум зависнет,но не в коммерческом изделии с подобными функциями.

Вот именно потому на ЯВУ все вычисления и переходят. На Си слишком легко написать ненадёжное приложение. Хочешь надёжности — повышай уровень.

digger> Но, с другой стороны, бесплатные библиотеки не дают гарантии

Бери платные :) «Наколенное» же творчество велосипедостроения гарантий и надёжности даёт ещё меньше…
 28.0.1500.7128.0.1500.71
+
+1
-
edit
 

digger

опытный

Я имею в виду явное писание контейнеров данных и даже некоторых функций РТЛ на C,если программа специфическая.Конечно, коммерческая и/или специально заточенная под задачу библиотека для Питона может будет не хуже.А если подходящей нет?
 22.022.0

+
-
edit
 

Balancer

администратор
★★★★☆

Могут ли Twitter и блоги предсказывать будущее? В Пентагоне говорят — возможно

Министерство обороны США собирается создать новые вычислительные средства, которые при помощи анализа массивов неструктурированного текста, блогов и твитов,... // habrahabr.ru
 
 36.0.1985.12536.0.1985.125
LT Bredonosec #31.07.2014 16:45  @Balancer#31.07.2014 01:14
+
+1
-
edit
 
+
-
edit
 

Balancer

администратор
★★★★☆

Новости космического телескопа «Хаббл» (Hubble) [Balancer#23.04.15 00:03]

Был уверен, что эта новость (2.5 летней давности) уже постилась, но навскидку не нашёл. Также, как не нашёл выделенной темы по новостям Хаббла Так что — сюда. Неизвестные сокровища «Хаббла» (metkere.com) Первое место, обработка изображения туманности NGC 1763. Фото: NASA/ESA/Josh Lake. Несколько месяцев назад NASA предложило любителям астрономии изучить изображения из архива, собранного за годы работа телескопа «Хаббл». Чтобы мотивировать коллективный разум, космическое агентство объявило…// Астрономия и дальний космос
 
 42.0.2311.9042.0.2311.90
+
+1
-
edit
 

digger

опытный

2 года спустя.Ищу работу,по ходу просматриваю,хоть и не моя отрасль.Так вот,Big Data стало самым настоящим баззвордом,работы довольно много и не только как надурить юзера.Поиск вирусов ,перегрузок и атак,разные закономерности итп.
 37.037.0
1 2 3

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru