Experimente los modelos de razonamiento destilados de DeepSeek R1 en AMD Ryzen AI y Radeon

Los modelos de razonamiento son una nueva clase de modelos de lenguaje grande (LLM) diseñados para abordar tareas altamente complejas mediante el uso del razonamiento en cadena de pensamiento (CoT) con la desventaja de que tardan más en responder.

DeepSeek R1 es un modelo de “razonamiento” de vanguardia lanzado recientemente que se ha destilado en modelos más pequeños de gran capacidad. Implementar estos modelos destilados de DeepSeek R1 en procesadores de IA AMD Ryzen™ y tarjetas gráficas Radeon™ es increíblemente fácil y ahora está disponible a través de LM Studio.

Los modelos de razonamiento agregan una etapa de “pensamiento” antes del resultado final, que puede ver al expandir la ventana de “pensamiento” antes de que el modelo brinde su respuesta final. A diferencia de los modelos de razonamiento lineal convencionales, que resuelven la respuesta de una sola vez, los modelos de razonamiento lineal de CoT realizan un razonamiento extenso antes de responder. Las suposiciones y la autorreflexión que realiza el modelo de razonamiento lineal son visibles para el usuario y esto mejora el razonamiento y la capacidad analítica del modelo, aunque a costa de un tiempo significativamente más largo hasta el primer token (resultado final).

Un modelo de razonamiento puede gastar primero miles de tokens (¡y puede ver esta cadena de pensamiento!) para analizar el problema antes de brindar una respuesta final. Esto permite que el modelo sea excelente en tareas complejas de resolución de problemas que involucran matemáticas y ciencias y que ataque un problema complejo desde todos los ángulos antes de decidir una respuesta. Dependiendo de su hardware AMD, cada uno de estos modelos ofrecerá una capacidad de razonamiento de vanguardia en su procesador AMD Ryzen™ AI o tarjetas gráficas Radeon™.

Cómo ejecutar modelos de razonamiento destilados de DeepSeek R1 en tarjetas gráficas AMD Ryzen™ AI y Radeon™

Sigue estos sencillos pasos para ponerte en marcha con las destilaciones DeepSeek R1 en tan solo unos minutos (según la velocidad de descarga).

Asegúrate de estar usando el controlador opcional Adrenalin 25.1.1, que se puede descargar directamente haciendo clic en este enlace.

Paso 1: Asegúrate de estar usando el controlador Adrenalin 25.1.1 opcional o superior.

Paso 2: Descarga LM Studio 0.3.8 o superior desde lmstudio.ai/ryzenai

Paso 3: Instala LM Studio y omite la pantalla de incorporación.

Paso 4: Haz clic en la pestaña de descubrimiento.

Paso 5: Elige tu destilador DeepSeek R1. Los destiladores más pequeños como el Qwen 1.5B ofrecen un rendimiento increíblemente rápido (y son el punto de partida recomendado), mientras que los destiladores más grandes ofrecerán una capacidad de razonamiento superior. Todos ellos son extremadamente capaces

ProcessorDeepSeek R1 Distill* (Max Supported)
AMD Ryzen™ AI Max+ 395 32GB1, 64 GBand 128 GBDeepSeek-R1-Distill-Llama-70B (64GB and 128GB only)
DeepSeek-R1-Distill-Qwen-32B
AMD Ryzen™ AI HX 370 and 365 24GB and 32 GBDeepSeek-R1-Distill-Qwen-14B
AMD Ryzen™ 8040 and Ryzen™ 7040 32 GBDeepSeek-R1-Distill-Llama-14B

*= AMD recommends running all distills in Q4 K M quantization.
1= Requires Variable Graphics Memory set to Custom: 24GB.

2= Requires Variable Graphics Memory set to High.

Graphics CardDeepSeek R1 Distill* (Max Supported1)
AMD Radeon™ RX 7900 XTXDeepSeek-R1-Distill-Qwen-32B
AMD Radeon™ RX 7900 XTDeepSeek-R1-Distill-Qwen-14B
AMD Radeon™ RX 7900 GREDeepSeek-R1-Distill-Qwen-14B
AMD Radeon™ RX 7800 XTDeepSeek-R1-Distill-Qwen-14B
AMD Radeon™ RX 7700 XTDeepSeek-R1-Distill-Qwen-14B
AMD Radeon™ RX 7600 XTDeepSeek-R1-Distill-Qwen-14B
AMD Radeon™ RX 7600DeepSeek-R1-Distill-Llama-8B

*= AMD recommends running all distills in Q4 K M quantization.

1= Lists the maximum supported distill without partial GPU offload.

Paso 6: En el lado derecho, asegúrate de que la cuantificación “Q4 K M” esté seleccionada y haz clic en “Descargar”.

Paso 7: Una vez descargado, regresa a la pestaña de chat y selecciona el destilado DeepSeek R1 en el menú desplegable y asegúrate de que la opción “seleccionar parámetros manualmente” esté marcada.

Paso 8: En las capas de descarga de GPU, mueve el control deslizante hasta el máximo.

Paso 9: Haz clic en cargar modelo.

Paso 10: ¡Interactúa con un modelo de razonamiento que se ejecuta completamente en tu hardware AMD local!

siguenos

223,485FansMe gusta
36,047SeguidoresSeguir
3,761SeguidoresSeguir
4,023SuscriptoresSuscribirte

APROVECHA ESTAS OFERTAS

DESTACADAS

relacionado

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí