НВИДИА НеМо Фрамеворк

Спецификације

• Назив производаNVIDIA NeMo Framework
• Погођене платформе: Виндовс, Линук, мацОС
• Погођене верзије: Све верзије пре 24.
• Безбедносна рањивост: ЦВЕ-2025-23360
• Основни резултат процене ризика: 7.1 (CVSS v3.1)

Упутства за употребу производа

Инсталација безбедносног ажурирања:
Да бисте заштитили свој систем, следите ове кораке:

1. Преузмите најновије издање са странице NeMo-Framework-Launcher Releases на GitHub-у.
2. Идите на НВИДИА безбедност производа за додатне информације.

Детаљи безбедносног ажурирања:
Безбедносно ажурирање решава рањивост у NVIDIA NeMo Framework-у која може довести до извршавања кода и крађе података.ampеринг.

Надоградња софтвера:
Ако користите старију верзију гране, препоручује се надоградња на најновију верзију гране како би се решио безбедносни проблем.

Готовоview

NVIDIA NeMo Framework је скалабилан и cloud-нативни генеративни AI оквир направљен за истраживаче и програмере који раде на Велики језички модели, Мултимодални и Вештачка интелигенција за говор (нпр Аутоматско препознавање говора и Претварање текста у говор). Омогућава корисницима да ефикасно креирају, прилагођавају и примењују нове генеративне вештачке интелигенције користећи постојећи код и претходно обучене контролне тачке модела.

Упутства за подешавање: Инсталирајте NeMo Framework

Велики језички модели и мултимодални модели
NeMo Framework пружа комплетну подршку за развој великих језичких модела (LLM) и мултимодалних модела (MM). Пружа флексибилност за коришћење локално, у дата центру или код вашег жељеног добављача услуга у облаку. Такође подржава извршавање у окружењима омогућеним за SLURM или Kubernetes.

Курирање података
Кустос НеМоа [1] је Пајтон библиотека која укључује скуп модула за анализу података и генерисање синтетичких података. Скалабилни су и оптимизовани за графичке процесоре (GPU), што их чини идеалним за курирање података природног језика ради тренирања или финог подешавања LLM-ова. Са NeMo Curator-ом, можете ефикасно издвојити висококвалитетни текст из опсежних сирових података. web извори података.

Обука и прилагођавање

NeMo Framework пружа алате за ефикасну обуку и прилагођавање ЛЛМс и мултимодалне моделе. Укључује подразумеване конфигурације за подешавање рачунарског кластера, преузимање података и хиперпараметре модела, који се могу прилагодити за тренирање на новим скуповима података и моделима. Поред претходног тренирања, NeMo подржава и технике надгледаног финог подешавања (SFT) и технике ефикасног финог подешавања параметара (PEFT) као што су LoRA, Ptuning и друге.

Доступне су две опције за покретање обуке у NeMo-у – коришћењем NeMo 2.0 API интерфејса или помоћу NeMo Run-а.

• Са NeMo Run (препоручено): NeMo Run пружа интерфејс за поједностављивање конфигурације, извршавања и управљања експериментима у различитим рачунарским окружењима. Ово укључује покретање задатака на вашој радној станици локално или на великим кластерима – било са омогућеним SLURM-ом или Kubernetes-ом у cloud окружењу.
  • Брзи почетак пре тренинга и PEFT-а са NeMo Run-ом
• Коришћење NeMo 2.0 API-ја: Ова метода добро функционише са једноставним подешавањем које укључује мале моделе или ако сте заинтересовани за писање сопственог прилагођеног учитавача података, петљи за обуку или промену слојева модела. Даје вам већу флексибилност и контролу над конфигурацијама и олакшава програмско проширивање и прилагођавање конфигурација.
  • ТраБрзи почетак рада са NeMo 2.0 API-јем
  • Миграција са NeMo 1.0 на NeMo 2.0 API

Поравнање

• NeMo-Aligner [1] је скалабилни алат за ефикасно поравнавање модела. Алат подржава најсавременије алгоритме за поравнавање модела као што су SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) и још много тога. Ови алгоритми омогућавају корисницима да поравнају језичке моделе како би били безбеднији, безопаснији и кориснији.
• Све NeMo-Aligner контролне тачке су унакрсно компатибилне са NeMo екосистемом, што омогућава даље прилагођавање и имплементацију инференције.

Корак-по-корак ток рада све три фазе RLHF-а на малом GPT-2B моделу:

• СФТ обука
• Обука за модел награђивања
• Обука за ППО

Поред тога, демонстрирамо подршку за разне друге нове методе поравнања:

• ДПО: лагани алгоритам поравнања у поређењу са RLHF-ом са једноставнијом функцијом губитка.
• Самостално играње Фино подешавање (SPIN)
• SteerLM: техника заснована на условљеној SFT, са управљивим излазом.

За више информација погледајте документацију: Документација о поравнању

Мултимодални модели

• NeMo Framework пружа оптимизован софтвер за обуку и примену најсавременијих мултимодалних модела у неколико категорија: модели мултимодалног језика, основе вида и језика, модели претварања текста у слику и више од 2D генерације коришћењем поља неуронског зрачења (NeRF).
• Свака категорија је дизајнирана да задовољи специфичне потребе и напредак у овој области, користећи најсавременије моделе за обраду широког спектра типова података, укључујући текст, слике и 3Д моделе.

Распоређивање и закључивање
NeMo Framework пружа различите путање за LLM инференцију, задовољавајући различите сценарије примене и потребе за перформансама.

Имплементација са NVIDIA NIM-ом

• NeMo Framework се беспрекорно интегрише са алатима за имплементацију модела на нивоу предузећа путем NVIDIA NIM-а. Ову интеграцију покреће NVIDIA TensorRT-LLM, што обезбеђује оптимизовано и скалабилно закључивање.
• За више информација о NIM-у, посетите NVIDIA webсајту.

Имплементирајте помоћу TensorRT-LLM или vLLM

• NeMo Framework нуди скрипте и API-је за извоз модела у две библиотеке оптимизоване за инференцију, TensorRT-LLM и vLLM, и за имплементацију извезеног модела помоћу NVIDIA Triton Inference Server-а.
• За сценарије који захтевају оптимизоване перформансе, NeMo модели могу да користе TensorRT-LLM, специјализовану библиотеку за убрзавање и оптимизацију LLM инференције на NVIDIA GPU-овима. Овај процес укључује конвертовање NeMo модела у формат компатибилан са TensorRT-LLM помоћу модула nemo.export.
  • Имплементација LLM-а је завршенаview
  • Примена NeMo великих језичких модела помоћу NIM-а
  • Примена NeMo великих језичких модела помоћу TensorRT-LLM-а
  • Примена NeMo великих језичких модела помоћу vLLM-а

Подржани модели

Велики језички модели

Велики језички модели

Велики језички модели	Преттренинг и СФТ	ПЕФТ	Поравнање	Конвергенција обуке у оквиру 8. оквирног програма	TRT/TRTLLM	Претвори у и из загрљеног лица	Евалуација
Лама3 8Б/70Б, Лама3.1 405Б	Да	Да	x	Да (делимично верификовано)	Да	И једно и друго	Да
Микстрал 8x7B/8x22B	Да	Да	x	Да (непроверено)	Да	И једно и друго	Да
Немотрон 3 8Б	Да	x	x	Да (непроверено)	x	И једно и друго	Да
Немотрон 4 340Б	Да	x	x	Да (непроверено)	x	И једно и друго	Да
Баичуан2 7Б	Да	Да	x	Да (непроверено)	x	И једно и друго	Да
ЧетGLM3 6Б	Да	Да	x	Да (непроверено)	x	И једно и друго	Да
Џема 2Б/7Б	Да	Да	x	Да (непроверено)	Да	И једно и друго	Да
Џема2 2Б/9Б/27Б	Да	Да	x	Да (непроверено)	x	И једно и друго	Да
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Да	Да	x	Да (непроверено)	x	x	Да
Фи3 мини 4к	x	Да	x	Да (непроверено)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Да	Да	x	Да (непроверено)	Да	И једно и друго	Да
СтарКодер 15Б	Да	Да	x	Да (непроверено)	Да	И једно и друго	Да
СтарКодер2 3Б/7Б/15Б	Да	Да	x	Да (непроверено)	Да	И једно и друго	Да
БЕРТ 110М/340М	Да	Да	x	Да (непроверено)	x	И једно и друго	x
Т5 220М/3Б/11Б	Да	Да	x	x	x	x	x

 

Модели визуелног језика

 

Уграђивање модела

 

Модели светске фондације

Напомена
NeMo такође подржава претходну обуку и за дифузиону и за ауторегресивну архитектуру text2world модели темеља.

Вештачка интелигенција за говор

Развој конверзационих вештачких интелигенција је сложен процес који укључује дефинисање, конструисање и обуку модела унутар одређених домена. Овај процес обично захтева неколико итерација да би се постигао висок ниво тачности. Често укључује више итерација да би се постигла висока тачност, фино подешавање различитих задатака и података специфичних за домен, осигуравање учинка обуке и припрему модела за примену инференције.

NeMo Framework пружа подршку за обуку и прилагођавање модела говорне вештачке интелигенције. Ово укључује задатке попут аутоматског препознавања говора (ASR) и синтезе текста у говор (TTS). Нуди гладак прелаз на имплементацију на нивоу предузећа уз NVIDIA Riva. Да би помогао програмерима и истраживачима, NeMo Framework укључује најсавременије претходно обучене контролне тачке, алате за репродуктивну обраду говорних података и функције за интерактивно истраживање и анализу скупова података говора. Компоненте NeMo Framework-а за говорну вештачку интелигенцију су следеће:

Обука и прилагођавање
NeMo Framework садржи све што је потребно за тренирање и прилагођавање говорних модела (АСР, Класификација говора, Препознавање говорника, Дијаризација говорника, и ТТС) на репродуктивни начин.

SOTA претходно обучени модели

• NeMo Framework пружа најсавременије рецепте и унапред обучене контролне тачке неколико АСР и ТТС моделе, као и упутства о томе како их учитати.
• Говорни алати
• NeMo Framework пружа скуп алата корисних за развој ASR и TTS модела, укључујући:
  • NeMo присилно поравнање (NFA) за генерисање времена на нивоу токена, речи и сегментаampговора у звуку користећи NeMo-ове CTC-базиране моделе аутоматског препознавања говора.
  • Процесор говорних података (SDP), алат за поједностављивање обраде говорних података. Омогућава вам да представите операције обраде података у конфигурацији file, минимизирајући шаблонски код и омогућавајући репродуктивност и дељивост.
  • Истраживач говорних података (SDE), заснован на Dash-у web апликација за интерактивно истраживање и анализу скупова говорних података.
  • Алат за креирање скупова података који пружа функционалност за поравнавање дугог звука fileса одговарајућим транскриптима и поделити их на краће фрагменте који су погодни за обуку модела аутоматског препознавања говора (ASR).
  • Алатка за поређење за ASR моделе да упореде предвиђања различитих ASR модела на нивоу тачности речи и изговора.
  • Евалуатор ASR-а за процену перформанси ASR модела и других функција као што је детекција гласовне активности.
  • Алат за нормализацију текста за претварање текста из писаног у говорни облик и обрнуто (нпр. „31.“ наспрам „тридесет први“).
• Пут до распоређивања
• NeMo модели који су обучени или прилагођени помоћу NeMo Framework-а могу се оптимизовати и распоредити помоћу NVIDIA Riva-е. Riva пружа контејнере и Helm графиконе посебно дизајниране за аутоматизацију корака за распоређивање притиском на дугме.

Други ресурси

GitHub репозиторијуми

• НеМоГлавно складиште за NeMo Framework
• НеМо–ТрчиАлат за конфигурисање, покретање и управљање експериментима машинског учења.
• НеМо-Алигнер: Скалабилни алати за ефикасно поравнање модела
• NeMo-куратор: Скалабилни комплет алата за претходну обраду и курирање података за мастер студије права (LLM)

Добивање помоћи
Укључите се у NeMo заједницу, постављајте питања, добијајте подршку или пријављујте грешке.

• НеМо дискусије
• Проблеми са NeMo-ом

Програмски језици и фрејмворци

• ПитхонГлавни интерфејс за коришћење NeMo Framework-а
• ПиторцхNeMo Framework је изграђен на бази PyTorch-а

Лиценце

• NeMo Github репозиторијум је лиценциран под Apache 2.0 лиценцом
• NeMo Framework је лиценциран у складу са NVIDIA AI ПРОИЗВОДИМА. Превлачењем и коришћењем контејнера, прихватате услове и одредбе ове лиценце.
• Контејнер NeMo Framework садржи Llama материјале регулисане Уговором о лиценци заједнице Meta Llama3.

Фусноте
Тренутно је подршка за NeMo Curator и NeMo Aligner за мултимодалне моделе у току и биће доступна ускоро.

ФАК

П: Како могу да проверим да ли је рањивост утицала на мој систем?
A: Можете проверити да ли је ваш систем погођен провером верзије инсталираног NVIDIA NeMo Framework-а. Ако је старија од верзије 24, ваш систем може бити рањив.

П: Ко је пријавио безбедносни проблем ЦВЕ-2025-23360?
A: Безбедносни проблем је пријавио Ор Пелес – JFrog Security. NVIDIA признаје њихов допринос.

П: Како могу да примам будућа обавештења о безбедносним билтенима?
A: Посетите страницу Безбедност производа NVIDIA да бисте се претплатили на обавештења о безбедносним билтенима и били информисани о безбедносним ажурирањима производа.

Документи / Ресурси

НВИДИА НеМо Фрамеворк [пдф] Упутство за кориснике НеМо Фрамеворк, НеМо, Фрамеворк

Референце

• Упутство за употребу