TFX, що розшифровується як TensorFlow Extended, є комплексною наскрізною платформою для створення готових до виробництва конвеєрів машинного навчання. Він надає набір інструментів і компонентів, які полегшують розробку та розгортання масштабованих і надійних систем машинного навчання. TFX розроблено для вирішення проблем управління та оптимізації конвеєрів машинного навчання, дозволяючи науковцям та інженерам з обробки даних зосереджуватися на створенні та ітерації моделей, а не мати справу зі складністю інфраструктури та керування даними.
TFX організовує конвеєр машинного навчання на кілька горизонтальних рівнів, кожен з яких служить певній меті в загальному робочому процесі. Ці рівні працюють разом, щоб забезпечити плавний потік даних і артефактів моделі, а також ефективне виконання конвеєра. Давайте розглянемо різні рівні в TFX для управління конвеєром і оптимізації:
1. Введення та перевірка даних:
Цей рівень відповідає за отримання необроблених даних з різних джерел, таких як файли, бази даних або потокові системи. TFX надає такі інструменти, як TensorFlow Data Validation (TFDV), для перевірки даних і генерації статистики. TFDV допомагає виявити аномалії, відсутні значення та дрейф даних, забезпечуючи якість і послідовність вхідних даних.
2. Попередня обробка даних:
На цьому рівні TFX пропонує TensorFlow Transform (TFT) для попередньої обробки даних і проектування функцій. TFT дозволяє користувачам визначати перетворення вхідних даних, такі як масштабування, нормалізація, кодування за одним кроком тощо. Ці перетворення застосовуються послідовно як під час навчання, так і під час обслуговування, забезпечуючи узгодженість даних і зменшуючи ризик перекосу даних.
3. Модельне навчання:
TFX використовує потужні навчальні можливості TensorFlow на цьому рівні. Користувачі можуть визначати та навчати свої моделі машинного навчання за допомогою високорівневих API TensorFlow або спеціального коду TensorFlow. TFX надає такі інструменти, як TensorFlow Model Analysis (TFMA), щоб оцінювати та перевіряти навчені моделі за допомогою метрик, візуалізацій і методів нарізки. TFMA допомагає оцінити ефективність моделі та виявити потенційні проблеми чи упередження.
4. Перевірка та оцінка моделі:
Цей рівень зосереджений на перевірці та оцінці навчених моделей. TFX забезпечує перевірку даних TensorFlow (TFDV) і аналіз моделі TensorFlow (TFMA) для виконання комплексної перевірки та оцінки моделі. TFDV допомагає перевірити вхідні дані на відповідність очікуванням, визначеним на етапі прийому даних, тоді як TFMA дозволяє користувачам оцінювати продуктивність моделі за попередньо визначеними показниками та зрізами.
5. Розгортання моделі:
TFX підтримує розгортання моделі в різних середовищах, включаючи TensorFlow Serving, TensorFlow Lite і TensorFlow.js. TensorFlow Serving дозволяє користувачам обслуговувати свої моделі як масштабовані та ефективні веб-сервіси, а TensorFlow Lite і TensorFlow.js дозволяють розгортати на мобільних і веб-платформах відповідно. TFX надає інструменти та утиліти для легкого пакетування та розгортання навчених моделей.
6. Оркестровка та управління робочим процесом:
TFX інтегрується з системами керування робочим процесом, такими як Apache Airflow і Kubeflow Pipelines, щоб оркеструвати та керувати всім конвеєром машинного навчання. Ці системи надають можливості для планування, моніторингу та обробки помилок, забезпечуючи надійне виконання конвеєра.
Організовуючи конвеєр у ці горизонтальні шари, TFX дозволяє науковцям та інженерам з обробки даних ефективно розробляти та оптимізувати системи машинного навчання. Він забезпечує структурований і масштабований підхід до управління складнощами прийому даних, попередньої обробки, навчання моделі, перевірки, оцінки та розгортання. За допомогою TFX користувачі можуть зосередитися на створенні високоякісних моделей і забезпеченні цінності для своїх організацій.
TFX для управління конвеєром і оптимізації включає горизонтальні рівні для прийому та перевірки даних, попередньої обробки даних, навчання моделі, перевірки та оцінки моделі, розгортання моделі, а також оркестровки та керування робочим процесом. Ці рівні працюють разом, щоб оптимізувати розробку та розгортання конвеєрів машинного навчання, дозволяючи дослідникам обробки даних та інженерам створювати масштабовані та надійні системи машинного навчання.
Інші останні запитання та відповіді щодо Основи EITC/AI/TFF TensorFlow:
- Як можна використовувати шар вбудовування для автоматичного призначення правильних осей для графіка представлення слів як векторів?
- Яка мета максимального об’єднання в CNN?
- Як процес виділення ознак у згортковій нейронній мережі (CNN) застосовується до розпізнавання зображень?
- Чи необхідно використовувати функцію асинхронного навчання для моделей машинного навчання, що працюють у TensorFlow.js?
- Що таке параметр максимальної кількості слів TensorFlow Keras Tokenizer API?
- Чи можна використовувати TensorFlow Keras Tokenizer API для пошуку найчастіших слів?
- Що таке TOCO?
- Який зв’язок між кількома епохами в моделі машинного навчання та точністю передбачення від виконання моделі?
- Чи створює API сусідів пакетів у Neural Structured Learning TensorFlow розширений навчальний набір даних на основі даних природного графіка?
- Що таке API сусідів пакетів у нейронно-структурованому навчанні TensorFlow?
Дивіться більше запитань і відповідей у EITC/AI/TFF TensorFlow Fundamentals