Неструктурированные данные: препятствие на пути внедрения технологии искусственного интеллекта

Кошик — технический архитектор и консультант по программному обеспечению, имеющий более чем 20-летний опыт работы в сфере анализа, разработки, архитектуры, проектирования, тестирования и обучения программного обеспечения. Он…

Эдди Ренн — репортер и редактор новостей, работавший в национальных и международных редакциях Великобритании и Австралии, уделяя особое внимание…

Искусственный интеллект уже доказывает свою ценность в таких задачах, как анализ тенденций и поддержка медицинского диагноза. Однако его эффективность зависит от структурированных данных, что может оказаться недостатком из-за нехватки данных. Зависимость ИИ от структурированных данных создает препятствия при столкновении с неструктурированными или сложными для анализа данными, ограничивая его возможности. Обнадеживает то, что предпринимаются усилия по расширению возможностей ИИ по обработке неструктурированных данных.

Искусственный интеллект (ИИ) способен делать вещи, которые раньше было невозможно себе представить.

Он может различать пешехода и дорожный знак, чтобы направлять беспилотный автомобиль, просматривать тон статьи и предоставлять обратную связь, предоставлять врачу полезные данные о пациентах и ​​выполнять тысячи других экономящих время и продуманных задач.

Однако в своих действиях ИИ часто зависит от структурированных данных, и эта зависимость может стать его ахиллесовой пятой.

ИИ может обрабатывать все типы данных из различных источников – структурированных и неструктурированных. Примеры включают в себя:

Системам искусственного интеллекта необходим согласованный формат данных, по крайней мере, для крупномасштабных задач, но обеспечение единообразия является проблемой, когда данные из разных источников сильно различаются и их трудно вписать в структуру.

Чтобы привести данные в форму, процесс их предварительной обработки — например, удаление ошибок, нежелательных пробелов и выбросов — требует много времени.

Данные также могут поступать в различных форматах, используя API, файлы JSON или электронные таблицы, и со временем появляются новые форматы данных, которые могут еще больше усложнить проблему.

Конфиденциальность данных также может усложнить ситуацию, и поставщики должны быть предельно осторожны, чтобы предотвратить утечку данных.

Давайте воспользуемся ИИ и медицинской визуализацией, чтобы понять, как неструктурированные данные препятствуют внедрению ИИ, используя в качестве тестовых примеров рентгеновские снимки, компьютерную томографию и МРТ.

В идеале ИИ должен анализировать отчеты о визуализации и позволять рентгенологам и врачам точно и быстро диагностировать заболевание. Однако следующие факторы серьезно ограничивают способность ИИ правильно интерпретировать результаты визуализации:

Изменчивость с точки зрения качества, угла, освещения и положения пациента затрудняет понимание изображения искусственным интеллектом, что может привести к ошибкам или ошибочным выводам.

Вариативность анатомии разных пациентов представляет собой сложную задачу для понимания систем искусственного интеллекта. ИИ любит единообразие и все еще пытается смириться с разнообразием анатомии человека.

Аннотации позволяют ИИ лучше понимать изображения, а их отсутствие заставляет ИИ самостоятельно определять пластины изображений, что без каких-либо полезных ресурсов является проблемой.

ИИ требует единообразия и согласованности данных, но визуализация необычных или редких заболеваний серьезно ограничивает его способность обрабатывать данные. Понимание таких условий требует, чтобы системы искусственного интеллекта обучались по ходу дела.

Визуализация может содержать шум, артефакты и искажения из-за различных факторов, таких как проблемы с аппаратом, несоблюдение протоколов визуализации или изменения положения тела пациента. Неструктурированные данные возникают в результате таких проблем и затрудняют понимание для ИИ.

ИИ предстоит пройти долгий путь в решении множества вариантов использования из-за зависимости от структурированных данных. Между тем для организаций предоставление структурированных данных по-прежнему остается дорогостоящей и трудоемкой задачей.

Предоставление и анализ данных необходимо улучшить, чтобы раскрыть весь потенциал ИИ, и одновременно необходимо провести большую работу по оснащению систем ИИ возможностью обработки неструктурированных данных.

Кошик — технический архитектор и консультант по программному обеспечению, имеющий более чем 23-летний опыт работы в сфере анализа, разработки, архитектуры, проектирования, тестирования и обучения программного обеспечения. Он интересуется новыми технологиями и инновациями. Он специализируется на веб-архитектуре, веб-технологиях, Java/J2EE, открытом исходном коде, WebRTC, больших данных и семантических технологиях. Он продемонстрировал свой опыт в анализе требований, проектировании и реализации архитектуры, подготовке технических вариантов использования и разработке программного обеспечения. Его опыт охватывает различные области, такие как страхование, банковское дело, авиалинии, морские перевозки, управление документами, разработка продуктов и т. д. Он работал с широким спектром технологий, начиная с мэйнфреймов (IBM S/390) и…