Los sistemas tradicionales de toma de decisiones de conducción autónoma a menudo dependen del diseño modular. Desde la percepción ambiental, la planificación de la toma de decisiones hasta el control del vehículo, cada subsistema funciona de forma independiente y colaborativa controla la operación del vehículo. En escenarios de tráfico complejos, esta arquitectura jerárquica es propensa a problemas como errores acumulativos, pérdida de información y rendimiento insuficiente en tiempo real. Los modelos grandes están cambiando gradualmente de esta situación con sus parámetros masivos, capacidades de procesamiento de datos intermodales y paradigmas de aprendizaje de extremo a extremo. No solo puede lograr una fusión eficiente de datos de sensores múltiples en el nivel de percepción, sino que también planificar estrategias de conducción más razonables para los vehículos a través de una comprensión semántica profunda y un razonamiento lógico en el nivel de toma de decisiones, mejorando así la seguridad general y la robustez.
Las ventajas de los grandes modelos en la conducción autónoma
El proceso de desarrollo de la tecnología de conducción autónoma en sí ha pasado por múltiples etapas, desde la conducción de asistencia temprana hasta la transición gradual hasta la conducción totalmente autónoma. Los primeros sistemas se basaban principalmente en la detección simple de objetos y el control de reglas. Con el desarrollo del aprendizaje profundo, la adopción de métodos como CNN, RNN e incluso GaN ha mejorado continuamente la percepción ambiental y las capacidades de toma de decisiones. Además, la tecnología que combina la representación y el transformador de BEV (Vista de ojos de pájaros) han compuesto, hasta cierto punto, compensado para las deficiencias de los métodos tradicionales en el modelado espacio-temporal. Se puede decir que la introducción de modelos grandes está remodelando fundamentalmente la arquitectura general de los sistemas de conducción autónomos, estableciendo una base sólida para la comercialización de los niveles de L3, L4 e incluso L5 en el futuro.
La arquitectura del modelo basada en Transformer generalmente adopta el mecanismo de autoatención, que puede capturar dependencias de larga distancia, mejorando significativamente la globalidad y la precisión del procesamiento de la información. A través del enfoque de ajuste previo al entrenamiento, el modelo se entrena previamente en datos no etiquetados a gran escala y luego se ajusta finos para tareas de conducción autónoma específicas. Esto no solo reduce la dependencia de una gran cantidad de datos etiquetados, sino que también permite que el modelo tenga buenas capacidades de migración de dominio cruzado. Los modelos grandes multimodales pueden procesar simultáneamente varios formularios de datos, como imágenes, nubes de puntos y datos de radar, logrando un salto de "ver" a "comprensión" y endurgar sistemas de manejo autónomo con capacidades cognitivas similares a las de los humanos.
La aplicación específica de grandes modelos en conducción autónoma
En los sistemas de conducción autónomos, la aplicación de modelos grandes se refleja principalmente en múltiples aspectos, como la percepción ambiental, la toma de decisiones y la planificación, y el control del vehículo. En términos de percepción ambiental, los sistemas tradicionales dependen principalmente de los datos de un solo sensor para la detección de objetivos y la segmentación semántica. Sin embargo, debido a las limitaciones de la iluminación, el clima y los sensores mismos, a menudo tienen dificultades para tratar escenarios complejos. A través de la tecnología de fusión de datos multimodales, los modelos grandes pueden integrar varios datos, como cámaras, lidars, radares de onda milimétrica y mapas de alta precisión para formar una representación más rica y precisa del entorno. Por ejemplo, el modelo de acción visual-lengua (VLA) puede extraer simultáneamente la información visual y la información semántica en la imagen, y muestra una precisión extremadamente alta en la detección de obstáculos, prediciendo comportamientos peatonales y condiciones de juicio. Después de que la información de múltiples sensores está profundamente fusionada por el modelo grande, no solo se mejora la robustez de la detección de objetivos, sino que también se puede lograr la predicción de escenas dinámicas a través del análisis de series de tiempo, proporcionando una entrada más confiable para la toma de decisiones del vehículo.
En el nivel de toma de decisiones y planificación, los sistemas de manejo autónomo tradicionales generalmente dependen de las reglas preestablecidas o los algoritmos de planificación basados en modelos para convertir los resultados de percepción en decisiones de planificación y acción de ruta. Sin embargo, este método es propenso a la falla cuando se enfrenta a condiciones complejas de tráfico que nunca antes se habían visto, y el diseño de la interfaz entre cada módulo es bastante rígido, lo que dificulta la optimización de extremo a extremo. A través de un marco de aprendizaje de extremo a extremo, los modelos grandes pueden extraer directamente la información clave de los datos del sensor sin procesar y generar comandos de control del vehículo a través del razonamiento lógico inherente. DriveGPT -4 y LanguageMpc han demostrado el potencial de usar grandes modelos para la toma de decisiones de tareas múltiples. Sus modelos no solo pueden generar estrategias de conducción razonables en escenarios complejos, sino que también proporcionan explicaciones detalladas, mejorando la interpretabilidad del sistema. La ventaja de esta toma de decisiones de extremo a extremo radica en reducir los errores intermedios en el proceso de transmisión de información y permitir que todo el sistema tenga la capacidad de adaptarse a los nuevos escenarios.
El control del vehículo, como el paso final de la conducción autónoma, requiere no solo la precisión de la toma de decisiones sino también la garantía de la respuesta en tiempo real del sistema. Dado que los modelos grandes generalmente tienen numerosos parámetros y enormes costos computacionales, existen ciertos desafíos en su implementación directa en sistemas montado en vehículos. La industria ha realizado extensas exploraciones en compresión modelo y peso ligero. A través de la tecnología de destilación del modelo, el conocimiento esencial en los modelos grandes se extrae y luego se transfiere a modelos pequeños y eficientes para lograr una coincidencia perfecta con el hardware en el vehículo (como la serie NVIDIA Drive AGX). Esta tecnología no solo conserva el alto rendimiento de los modelos grandes, sino que también garantiza que el tiempo de respuesta cumpla con los requisitos del control en tiempo real, lo que juega un papel importante en el proceso de comercialización de la conducción autónoma L3\/L4.
En la simulación y la verificación de circuito cerrado de la conducción autónoma, los modelos grandes también han demostrado ventajas significativas. La capacitación con datos a gran escala y escenas sintéticas puede construir modelos mundiales realistas, y las pruebas de circuito cerrado se pueden lograr en un entorno virtual a través de la tecnología gemela digital. Este método no solo reduce significativamente los riesgos y costos de realizar una gran cantidad de pruebas en caminos reales, sino que también puede simular rápidamente varios escenarios extremos y de cola larga, proporcionando un soporte de datos suficiente para la optimización iterativa del modelo. El modelo EMMA de Waymo, al aprovechar las plataformas de simulación y la gran tecnología de modelos, ha logrado la predicción de la trayectoria de alta precisión y la toma de decisiones de evitación de colisiones. Su rendimiento supera con creces el de los sistemas jerárquicos tradicionales, proporcionando un nuevo enfoque para la verificación de circuito cerrado de futuros sistemas de conducción totalmente autónomos.
Además, los modelos grandes también han jugado un papel importante en la mejora de la seguridad del sistema y la experiencia del usuario. La conducción autónoma no es simplemente un problema técnico; También involucra la interacción humana-computadora y los problemas de confianza social. A través de la tecnología de procesamiento del lenguaje natural, los modelos grandes pueden lograr conversaciones en tiempo real con los conductores, proporcionar sugerencias de conducción y alertas de emergencia e incluso ofrecer asistencia personalizada basada en las emociones del conductor. Tal diseño de interacción puede mejorar significativamente la confianza de los pasajeros, lo que hace que el sistema de conducción autónomo no solo sea más avanzado en tecnología, sino también más en línea con las necesidades del usuario en aplicaciones prácticas.
¿Qué desafíos se plantean los modelos grandes en la conducción autónoma?
Aunque los modelos grandes han mostrado un gran potencial en el campo de la conducción autónoma, todavía hay muchos problemas para transformarlos de logros de laboratorio a aplicaciones comerciales. El rendimiento en tiempo real y los recursos informáticos son uno de los principales cuellos de botella en la actualidad. Los modelos grandes generalmente tienen una gran escala de parámetros y una alta complejidad computacional. Generar decisiones dentro del nivel de milisegundos plantea requisitos extremadamente altos para la potencia informática de la plataforma de computación en el vehículo. Se pueden usar chips de IA dedicados, y los modelos grandes se pueden comprimir a través de técnicas como la destilación y cuantificación del modelo, esforzándose por cumplir con los requisitos de respuesta en tiempo real al tiempo que garantiza el rendimiento.
Los problemas de seguridad y robustez también son desafíos centrales en la aplicación de grandes modelos. Una vez que un vehículo autónomo comete un error de toma de decisiones, las consecuencias pueden ser muy graves. Por lo tanto, los modelos grandes deben someterse a pruebas y verificaciones estrictas antes de ser utilizados prácticos para garantizar que puedan responder correctamente en varios escenarios complejos y extremos. Debido a la naturaleza de la "caja negra" de los modelos grandes, sus procesos internos de toma de decisiones a menudo son difíciles de explicar. Cómo mejorar la interpretabilidad del modelo al tiempo que garantiza el alto rendimiento se ha convertido en un problema urgente para que las autoridades reguladoras y los fabricantes de automóviles resuelvan. En el futuro, al combinar métodos como el aprendizaje de refuerzo, el ajuste fino basado en la retroalimentación humana y las limitaciones de reglas, se espera que diseñen sistemas de toma de decisiones que sean eficientes y transparentes.
La privacidad de los datos y los problemas éticos no pueden ignorarse ni en la aplicación de modelos grandes. Los sistemas de conducción autónomos deben recopilar una gran cantidad de datos de vehículos, ambientales y de usuario, y el almacenamiento y el uso seguros de estos datos están directamente relacionados con la protección de la privacidad del usuario. Cómo aprovechar completamente las ventajas de los big data al tiempo que garantiza la seguridad de la transmisión y el procesamiento de datos es el primer problema que las autoridades reguladoras deben abordar. Es necesario formular estrictos estándares de protección de datos y mecanismos de protección de la privacidad para proporcionar garantías institucionales para la aplicación segura de grandes modelos en conducción autónoma.
La colaboración entre software y hardware también es la clave para la implementación de modelos grandes. La aplicación exitosa de modelos grandes no solo depende de la innovación de algoritmos, sino que también requiere soporte de hardware de alto rendimiento. Actualmente, los principales fabricantes han lanzado sucesivamente plataformas de computación en vehículos de nueva generación, como Nvidia Drive AGX Pegasus, Atlan, etc. Estas plataformas proporcionan garantías de hardware para la inferencia en tiempo real y el despliegue a gran escala de modelos grandes. El avance continuo de la tecnología de sensores también ha proporcionado fuentes de datos más abundantes y de alta calidad para la fusión de datos multimodales. Con la mejora continua de todo el ecosistema de conducción autónoma, la profunda integración del software y el hardware está obligado a impulsar a toda la industria a una nueva era de viajes inteligentes.
El profundo impacto de los grandes modelos en la tecnología de conducción autónoma no solo se refleja en los detalles técnicos, sino que también ha desencadenado un cambio de paradigma de los sistemas modulares tradicionales a la inteligencia perceptiva y de la inteligencia cognitiva. El futuro sistema de conducción autónoma, dirigido por grandes modelos, logrará una percepción ambiental de mayor precisión, una toma y planificación de decisiones más flexibles, así como un control de vehículos más seguro y eficiente. Al mismo tiempo, alcanzará un nuevo nivel en interacción humana-máquina, asistencia personalizada y seguridad de datos.