Principal Machine Learning Engineer, Evaluation

•

Design and run evaluation protocols (datasets, metrics, statistical analysis) that reflect real CAD/BIM user workflows and production conditions

•

Build repeatable evaluation tooling and automation to support model development, regression testing, and release readiness decisions

•

Curate, process, and analyze data from multiple sources (including production derived samples) to assess model behavior and customer outcomes

•

Validate end-to-end ML powered product experiences and translate product requirements into measurable evaluation criteria

•

Communicate findings and recommendations clearly to researchers, engineers, product teams, and leadership

•

Document model quality issues discovered in production or during validation (accuracy, robustness, latency, failure modes) and help prioritize follow-up investigations

Minimum Qualifications

•

BS or MS in Mechanical Engineering, Architecture, Computer Engineering, Computer Science, Applied Math, Statistics, or equivalent industry experience

•

4+ years of professional experience in ML model evaluation, ML enabled QA, or applied ML engineering, including designing evaluation datasets, metrics, and protocols

•

Strong software engineering skills for building repeatable evaluation systems, including Python, data pipelines and analysis, testable and maintainable code, version control, and cloud based workflows (for example AWS or Azure)

•

Strong written communication skills for documenting evaluation methods, results, and recommendations

Preferred Qualifications

•

Familiarity with design, manufacturing, or AEC workflows, including hands-on experience with CAD/BIM tools such as Fusion, AutoCAD, or Revit

•

Experience with geometry or design data representations, including 2D and 3D

•

Familiarity with ML frameworks and tooling (for example PyTorch, Ray, or similar)

26WD96327, Ingénieur principal en apprentissage automatique, Évaluation

Présentation du poste

Le travail que nous accomplissons chez Autodesk touche pratiquement chaque personne sur la planète. En créant des outils logiciels destinés à la conception de b-ments, de machines et même des films les plus récents, nous influençons et donnons les moyens d’agir à certaines des personnes les plus créatives au monde.

En tant qu'ingénieur principal en apprentissage automatique spécialisé dans l'évaluation des modèles d'apprentissage automatique pour la CAO et le BIM, vous veillerez à ce que les expériences basées sur l'apprentissage automatique répondent à des normes élevées en matière de qualité, de fiabilité et d'impact sur les clients pour l'ensemble des produits Autodesk. Vous travaillerez de manière pratique avec les logiciels Autodesk basés sur l'apprentissage automatique afin de concevoir des ensembles de données d'évaluation, des indicateurs et des protocoles qui reflètent les flux de travail réels des utilisateurs. Vous utiliserez ces signaux pour orienter la préparation des versions et l'amélioration continue en production. Vous communiquerez les résultats à travers des résumés d'évaluation clairs et des recommandations, en partenariat avec des chercheurs, des ingénieurs et des équipes produit afin de combler l'écart entre les performances hors ligne et les résultats réels pour les clients.

Vous rendrez compte à un responsable de l'équipe Model Delivery au sein d'Autodesk Research. Ce poste est basé à proximité de nos bureaux Autodesk en Amérique du Nord, de préférence à Toronto ou à Vancouver. Nous prenons en charge le travail en présentiel, hybride et à distance.

Responsabilités

•

Concevoir et exécuter des protocoles d'évaluation (ensembles de données, métriques, analyse statistique) qui reflètent les flux de travail réels des utilisateurs de CAO/BIM et les conditions de production

•

Développer des outils d'évaluation reproductibles et des automatisations pour soutenir le développement de modèles, les tests de régression et les décisions relatives à la préparation des versions

•

Collecter, traiter et analyser des données provenant de multiples sources (y compris des échantillons issus de la production) pour évaluer le comportement des modèles et les résultats pour les clients

•

Valider les expériences produit de bout en bout basées sur le ML et traduire les exigences produit en critères d'évaluation mesurables

•

Communiquer clairement les conclusions et les recommandations aux chercheurs, ingénieurs, équipes produit et dirigeants

•

Documenter les problèmes de qualité des modèles découverts en production ou lors de la validation (précision, robustesse, latence, modes de défaillance) et aider à hiérarchiser les investigations de suivi

Qualifications minimales

•

Licence ou master en génie mécanique, architecture, génie informatique, informatique, mathématiques appliquées, statistiques, ou expérience professionnelle équivalente

•

Au moins 4 ans d'expérience professionnelle dans l'évaluation de modèles ML, l'assurance qualité basée sur le ML ou l'ingénierie ML ap