17.11.2023  Экспертиза, Искусственный интеллект, Мобильные и беспроводные решения

Роб Эндерле, президент и главный аналитик Enderle Group, обсуждает на портале Datanami преимущества гибридного подхода к внедрению ИИ на настольных компьютерах и в смартфонах. Снижение затрат и нагрузки на серверы По мере наращивания больших языковых моделей (LLM) мы обнаруживаем, что они потребляют все больше ресурсов, что создает проблемы с пропускной способностью, несмотря на то что объем их использования все еще сравнительно невелик. Речь идет о моделях, содержащих более 13 млрд. параметров и требующих огромных вычислительных мощностей. Когда большое количество пользователей использует эти модели одновременно, не только расходуются огромные объемы пропускной способности, но и создаются новые болезненные узкие места, потенциально способные поставить на колени облачные серверы, и без того испытывающие большие ... читать далее.