Уважаемые разработчики, у которых бьется сердце и филолога, и математика!
У нас есть интересная задача по обработке «описаний профессий», которые мы получили, взяв требования к соискателям и описание работы от тысяч разных работодателей.
Сейчас все описания хранятся в txt файлах и представляют собой хаотический набор требований и описаний «кто во что горазд». Но что тяжело для человека, то легко для алгоритма, которым управляют мудрые эксперты – в данном случае филолог и немножко математик.
Вам предстоит проанализировать несколько примеров файлов и вычленить смысловые конструкции, которые математик опишет формулами и сведет к алгоритму, обратывающему файлы.
Несколько лет назад мы проделали эту работу вручную! (ага, нам все еще стыдно за эту гордость).
Мы искали повторяющиеся описания, которые стали «каркасом» описания профессий. Отдельно мы определили список требований к качествам и компетенциям – и отмечали, что встречается и как часто.
Плюс выписывали всё необычное.
Но сейчас нам кажется это недостаточно глубокий подход, есть шанс «выжать больше».
Алгоритм работы такой.
1. Вы изучаете примеры. Например: пекарь, младший воспитатель, грузчик. Всего таких — сотни тысяч txt файлов с описанием каждой профессии, специальности, должности.
2. Собираете модель описания профессии, тот каркас, на который будут накладываться фактические описания.
3. Помогаете математику (или может справляетесь сами), как именно программа может отделить в наборе слов, где описания действий, где качеств, а где лишняя информация, а где очень важная, но на которую надо посмотреть человеку, прежде чем добавлять в описание профессий.
4. От математика мы ждем псевдокод, который наши программисты переведут в рабочую программу. Мы тестируем программу и дорабатываем матмодель.
5. Вуа-ля, у нас описания всех сотен тысяч профессий, которые мы можем издать в электронном виде. И да, вы там — автор!
Пишите свои предложения о сотрудничестве в комментариях к новости, они будут закрыты и видимы только для нас.