Blog

Jun 23, 2024

Werkzeug

Scientific Reports Band 13, Artikelnummer: 9591 (2023) Diesen Artikel zitieren 573 Zugriffe 1 Altmetric Metrics Details Quantifizierung und Verständnis chirurgischer Daten offenbaren subtile Muster in Aufgaben und

Wissenschaftliche Berichte Band 13, Artikelnummer: 9591 (2023) Diesen Artikel zitieren

573 Zugriffe

1 Altmetrisch

Details zu den Metriken

Die Quantifizierung und das Verständnis chirurgischer Daten legen subtile Muster bei Aufgaben und Leistung offen. Die Ausstattung chirurgischer Geräte mit künstlicher Intelligenz bietet Chirurgen eine personalisierte und objektive Leistungsbewertung: einen virtuellen Operationsassistenten. Hier präsentieren wir Modelle für maschinelles Lernen, die für die Analyse chirurgischer Feinheiten unter Verwendung von Daten zur Wechselwirkungskraft zwischen Werkzeug und Gewebe bei der chirurgischen Dissektion entwickelt wurden, die mit einer sensorisierten bipolaren Pinzette gewonnen wurden. Die Datenmodellierung erfolgte anhand von 50 neurochirurgischen Eingriffen, die eine elektive chirurgische Behandlung verschiedener intrakranieller Pathologien beinhalteten. Die Datenerfassung wurde von 13 Chirurgen mit unterschiedlichem Erfahrungsniveau unter Verwendung einer sensorisierten bipolaren Pinzette, dem SmartForceps System, durchgeführt. Der Algorithmus für maschinelles Lernen diente dem Entwurf und der Implementierung für drei Hauptzwecke: Kraftprofilsegmentierung zur Ermittlung aktiver Zeiträume der Werkzeugnutzung mithilfe von TU-Net, Klassifizierung chirurgischer Fertigkeiten in Experten und Anfänger sowie Erkennung chirurgischer Aufgaben in zwei Hauptkategorien: Koagulation versus Nicht-Koagulation -Koagulation mit FTFIT-Deep-Learning-Architekturen. Der Abschlussbericht an den Chirurgen war ein Dashboard mit erkannten Segmenten der Kraftanwendung, kategorisiert in Fähigkeits- und Aufgabenklassen, sowie Diagrammen mit Leistungsmetriken im Vergleich zu Chirurgen auf Expertenebene. Es wurde eine OP-Datenaufzeichnung von > 161 Stunden mit etwa 3,6.000 Betriebsperioden des Geräts verwendet. Die Modellierung ergab einen gewichteten F1-Score = 0,95 und einen AUC = 0,99 für die Kraftprofilsegmentierung unter Verwendung von TU-Net, einen gewichteten F1-Score = 0,71 und einen AUC = 0,81 für die Klassifizierung chirurgischer Fertigkeiten sowie einen gewichteten F1-Score = 0,82 und einen AUC = 0,89 für Erkennung chirurgischer Aufgaben mithilfe einer Teilmenge handgefertigter Funktionen, die durch das neuronale FTFIT-Netzwerk erweitert werden. Diese Studie stellt ein neuartiges maschinelles Lernmodul in einer Cloud bereit, das eine End-to-End-Plattform für die intraoperative Überwachung und Bewertung der chirurgischen Leistung ermöglicht. Durch den Zugriff über eine sichere Anwendung für professionelle Konnektivität wird ein Paradigma für datengesteuertes Lernen etabliert.

Die Einbeziehung künstlicher Intelligenz (KI), die durch Cloud-Konnektivität unterstützt wird, um Daten in und zwischen Operationssälen (OP) zu aggregieren, bietet ein objektives Werkzeug für systematisches Feedback zur optimalen Nutzung medizinischer Geräte und Systeme. Dies ist wichtig, um die Sicherheit chirurgischer Eingriffe zu verbessern und digitale Innovationen zur Standardisierung der Patientenversorgung zu nutzen. Die Implementierung von KI durch sensorgestützte und datengesteuerte chirurgische Geräte kann die traditionelle und subjektive Ausbildung, die auf Lehrlingsausbildung basiert, in ein objektives und nicht einschüchterndes Paradigma verwandeln1. Die kontextbezogene Unterstützung durch die Erkennung chirurgischer Phasen kann den Trainingsprozess durch spezifisches analytisches Feedback zur Durchführung der Operation2 weiter erleichtern und verbessern. Als neue Grenze im chirurgischen Coaching kann die chirurgische Datenwissenschaft durch neuartige Rahmenwerke definiert werden, die die Sammlung, Strukturierung, Analyse und Modellierung solcher Daten umfassen3,4.

Maschinelle Lernalgorithmen in der Chirurgie können, auch wenn sie noch früh sind, die Versorgung verschiedener Pathologien verbessern, darunter Epilepsie, Hirntumoren, Wirbelsäulenläsionen und zerebrovaskuläre Störungen5. Sensorgesteuerte Daten können verwendet werden, um die Geschicklichkeit und die technischen Fähigkeiten des Chirurgen genau zu erfassen, indem aussagekräftige Merkmale verwendet werden, die aus chirurgischen Manövern und Arbeitsabläufen extrahiert werden. Dies wiederum würde dazu beitragen, eine quantitative Feedback-Metrik während einer abgestuften chirurgischen Ausbildungsphase bereitzustellen. Die Bewegung von Instrumenten wurde in der Vergangenheit als kinematisches Maß für Leistung und Fähigkeitsunterscheidung in einer Laborumgebung verwendet6,7,8. Zur Fähigkeitsbewertung wurde ein Deep-Learning-basiertes Instrumentenverfolgungssystem basierend auf chirurgischen Videos implementiert, das den manuellen Metriken Objective Structured Assessment of Technical Skill (OSATS) und Global Evaluative Assessment of Robotic Skill (GEARS)9 entspricht. Die Beurteilung chirurgischer Fähigkeiten und die Navigation in der kolorektalen Chirurgie können durch die Erkennung von Pinzettentypen und Objekten anhand von Videodaten erleichtert werden10. Darüber hinaus führte die Verwendung von Bewegungsmerkmalen, die aus der Analyse zeitlicher Videomuster extrahiert wurden, zur Kategorisierung und Analyse chirurgischer Maßnahmen11,12. Eine umfassende Übersicht über die Literatur zur Analyse chirurgischer Fertigkeiten wurde ebenfalls veröffentlicht13. Die in dieser Rezension enthaltenen Manuskripte verwendeten kinematische (61 %) und Videodaten (29 %), wobei den Werkzeug-Gewebe-Kräften nur begrenzte Aufmerksamkeit geschenkt wurde14,15. Die hier verwendeten ML-Modelle waren künstliche neuronale Netze (ANN), Hidden-Markov-Modelle (HMM) und Support-Vektor-Maschinen (SVM), alle mit höheren Genauigkeiten als 80 %. Allerdings beschränkten sich ihre Ergebnisse auf Daten aus realen chirurgischen Eingriffen (12 %) sowie auf das Fehlen einer Rahmenanwendung, um Chirurgen interpretierbares und klinisch relevantes Feedback zu geben.

Unter den sensorischen Daten ist das kinästhetische Force-Feedback, das sich auf die Rekonstruktion des menschlichen Tastsinns durch Aktivierung muskulärer Mechanorezeptoren bezieht, von herausragender Bedeutung. Diese Art von Kraft kann Auswirkungen auf die chirurgischen Ergebnisse haben, z. B. eine nicht optimale Kraftanwendung, die zu Gewebeschäden oder einer Verlängerung der Operationszeit führt1,16,17. In verschiedenen Studien wurde die Griffkraft als Messgröße zur Beurteilung chirurgischer Fähigkeiten verwendet6,18. Die Instrumentenkraftanalyse zeigte bei erfahrenen Chirurgen ein geringeres Kraftniveau als bei Anfängern, wenn sie trockene Laborübungen durchführten6. Darüber hinaus wurde auch eine Regressionsanalyse zur automatisierten Fähigkeitsbewertung basierend auf der Kontaktkraft mit Aufgabenmaterialien, der Beschleunigung von Roboterinstrumenten und der Zeit für die Erledigung der Aufgabe durchgeführt18. Die Ergebnisse stimmten mit der manuellen GEARS-Metrik überein. Darüber hinaus hat sich gezeigt, dass die Kombination von visuellen Signalen mit Kraftrückmeldung die Gewebecharakterisierung19 verbessert, wobei geringere Kraftspitzengrößen zu deutlich geringeren Gewebetraumata und chirurgischen Fehlerraten führen20. Obwohl frühere Studien ihre jeweiligen Ziele erfolgreich erreichten, konzentrierten sie sich nie auf die Leistungsbewertung auf der Grundlage chirurgischer Aufgaben, z. B. der Koagulation als vorrangigem Aspekt der Gefäßchirurgie, unter Verwendung einer einzigen Modalität von Daten aus der Werkzeug-Gewebe-Interaktion, d. h. Kräften16.

Hier präsentieren wir ein originelles Framework für maschinelles Lernen, d. 16,21,22,23,24. Die medizinischen SmartForceps werden zwischen den einzelnen Eingriffen gemäß den von den Aufsichtsbehörden und der zentralen Sterilisations- und Wiederaufbereitungsabteilung genehmigten Standards sterilisiert. Für die behördliche Zulassung haben wir nachgewiesen, dass jedes SmartForceps mehreren Sterilisationszyklen standhält, ohne die Sensoren des Instruments zu beeinträchtigen, d. h. die Kalibrierung zu verändern1,25. Dieses neuartige Framework baut auf unserer jüngsten Arbeit an einem datengestützten Dashboard für die chirurgische Leistung auf und schafft nun eine automatisierte Analyseplattform. Die Arbeit nutzt sensorbasierte Technologie, wobei sich entwickelnde KI-Systeme die Art und Weise ergänzen, wie chirurgische Eingriffe durchgeführt und gelehrt werden. Die Modellierungsbemühungen umfassen Deep-Learning-Architekturen und Datenanalysen für die Klassifizierung chirurgischer Fähigkeiten zwischen Experten und Anfängern sowie die Erkennung einer kritischen neurochirurgischen Aufgabe, z. B. der Koagulation, um die Granularität des Leistungsfeedbacks zu verbessern. Solche Analysen zur chirurgischen Leistung und ein Vergleich mit dem Goldstandard können in einer interaktiven Umgebung, dem Expert Room, überprüft werden. Diese Studie bietet neue Möglichkeiten innerhalb eines objektiven und sensorgesteuerten Modells zur Verfolgung und Analyse der chirurgischen Leistung, um das Lernen und die Sicherheit der Operation zu verbessern.

Das SmartForceps-System (entwickelt am Project neuroArm, University of Calgary, Calgary AB, Kanada) ermöglicht die Echtzeitanzeige und Aufzeichnung von Werkzeug-Gewebe-Kraftdaten während der Operation. Chirurgische Aufgaben wurden in folgende Kategorien eingeteilt: (1) Koagulation (Beendigung des Blutverlusts aus einem beschädigten Gefäß), (2) Nicht-Koagulation mit den Unterkategorien (a) Dissektion (Schneiden oder Trennen von Gewebe), (b) Ziehen (Bewegen). und Zurückhalten von Gewebe in eine Richtung), (c) Zurückziehen (Ergreifen und Zurückhalten von Gewebe zur chirurgischen Freilegung) und (d) Manipulieren (Bewegen von Baumwolle oder anderen Nicht-Gewebe-Objekten), die nach Expertengenehmigung kumulativer Datenüberprüfungen identifiziert wurden. Die auf Tonband aufgezeichnete Stimme jedes Chirurgen begleitete die Kraftaufzeichnungen, die die Zeiträume der Kraftanwendung und spezifische Aufgabennamen anzeigten. Diese Informationen erleichterten den Kennzeichnungsprozess für jedes Kraftsegment und erstellten einen überwachten Datensatz für die Modelle des maschinellen Lernens. Die Studie wurde vom Conjoint Health Research and Ethics Board der University of Calgary, Calgary, AB, Kanada (REB19-0114) genehmigt, wobei die Technologie von Health Canada genehmigt wurde (ITA 329.641 Klasse II, 2021). Einzelheiten zur Technologieentwicklung sowie zur präklinischen und klinischen Anwendung wurden bereits veröffentlicht16,21,22,23,26,27. Gemäß REB wurde von den teilnehmenden Chirurgen eine informierte elektronische und mündliche Einwilligung eingeholt, die einen Verzicht auf die Einwilligung der Patienten nach Aufklärung durch das Institutional Review Board der University of Calgary beinhaltete. Das Operationsteam übernahm das SmartForceps-System anstelle der herkömmlichen bipolaren Zange mit dem zusätzlichen Vorteil der Messung, Anzeige und Aufzeichnung der Werkzeug-Gewebe-Kraft in Echtzeit. In diese prospektive Studie wurden erwachsene Patienten eingeschlossen, die sich einer elektiven chirurgischen Behandlung wegen verschiedener intrakranieller Pathologien unterzogen (unter der Aufsicht des leitenden Autors als Stabsarzt). Neurochirurgische Notfalleingriffe und die pädiatrische Bevölkerung wurden ausgeschlossen. Das Manuskript enthält keine identifizierbaren Patienteninformationen und die Methoden wurden in Übereinstimmung mit den relevanten Richtlinien und Vorschriften für experimentelle Studien am Menschen und der Deklaration von Helsinki durchgeführt.

Das Daten-Framework umfasste eine HIPAA- und PIPEDA-konforme Cloud-Architektur zur Aufbewahrung und Verarbeitung der intraoperativen anonymisierten Daten über eine Cloud-Plattform (Microsoft Azure, Microsoft USA) mit sicherer Authentifizierung durch Anmeldeinformationen des Unternehmens. Darüber hinaus wurde eine installierbare Web-/Mobilanwendung zur Überwachung der kraftbezogenen Daten/Funktionen entwickelt, die unter smartforceps-app.azurewebsites.net verfügbar ist.

Um das Verhalten von Kraftprofilen für die Mustererkennung und Leistungsanalyse zu quantifizieren, haben wir Modelle für maschinelles Lernen zur Segmentierung und Erkennung der Muster intraoperativer Kraftprofile entwickelt. Die Modelle machen keine Annahmen über das zugrunde liegende Muster in Kraftdaten und sind daher robust gegenüber Rauschen. Das Framework ermöglicht die Modellierung einer komplexen Struktur in unseren instationären Zeitreihendaten, bei der sich Dateneigenschaften wie Mittelwert, Varianz und Häufigkeit im Laufe der Zeit ändern. Abbildung 1 zeigt die Workflow-Architektur von der Datenaufzeichnung bis zur Modellierung und Visualisierung.

Workflow-Architektur der SmartForceps-Plattform von der Datenaufzeichnung bis zur Modellierung und Visualisierung. Kräfte der Werkzeug-Gewebe-Interaktion wurden zusammen mit nicht identifizierten Fallinformationen auf eine HIPAA-konforme Datenspeicher- und Analyseplattform hochgeladen. Kraftdaten wurden manuell segmentiert und gekennzeichnet, indem man sich die Sprachaufzeichnungen des Chirurgen anhörte, in denen die Namen des Chirurgen, chirurgische Aufgaben und wichtige Vorfälle erzählt wurden. Die KI-Modellierungsarchitektur umfasste automatische Datenvorverarbeitung (z. B. Datenausgleich, Entfernung von Ausreißern, Datentransformation usw.), Feature Engineering, Datenmodellierung (TU-Net für Kraftprofilsegmentierung (TU-Net: Time-series-U-Net) ; XGBoost, LSTM und FTFIT (Force Time-series Feature-based InceptionTime) zur Mustererkennung) sowie Modellierungsoptimierung und Leistungsbewertung, die in die Cloud-Plattform integriert wurden, um Leistungsbewertungsberichte für das Operationsteam zu erstellen. Eine detaillierte Beschreibung ausgewählter Prozesse in der Abbildung finden Sie in den ergänzenden Materialien. Die Visualisierung wurde in Microsoft PowerPoint Version 16.49 mit den Symbolen erstellt, die aus einer Google-Suche stammen: z. B. https://www.iconfinder.com.

Die als EIN oder AUS gekennzeichneten Kraftdatenpunkte wurden nach Anwendung des regelbasierten Datenausgleichs in die Analyse einbezogen (Abbildung S1, detailliert in den Zusatzmaterialien). Um die Daten in eine Normalverteilung umzuwandeln, d. h. in eine Gaußsche Verteilung mit einem Mittelwert von Null und einer Einheitsvarianz, und um den dominanten Effekt einer größeren Varianz in einem bestimmten Signal zu eliminieren, wurde eine Merkmalsnormalisierung der linken und rechten Zackenkraft durchgeführt, indem der Mittelwert entfernt und auf skaliert wurde Einheitsvarianz. Dies ermöglichte eine Standardisierung der entsprechenden Werte. Die Datenvorbereitung umfasste die Normalisierung und Umformung in Fenster von 224 Datenpunkten, was letztendlich zu neu abgetasteten Kraftfenstern von etwa 5,9 K führte. Anschließend wurden die Segmentbezeichnungen codiert und ein One-Hot-Codierungsschema implementiert. Schließlich wurde eine 80 % (20 % Validierung)–20 %-Aufteilung mit einem zufälligen Startwert durchgeführt, um die Daten in Trainingsvalidierungs- und Teststichproben aufzuteilen. Ein speziell entwickeltes U-Net-Modell (TU-Net: Time-series-U-Net; U-Net ist ein dominantes Modell für die Bildsegmentierung28) wurde trainiert und implementiert, das aus einer Faltungs-Encoder- und Decoder-Struktur bestand, um die Eigenschaften zu erfassen und Rekonstruieren Sie das Kraftprofil. Zur Optimierung der Hyperparameter wurde eine Rastersuche durchgeführt (Abbildungen S2, S3, detailliert in den Zusatzmaterialien).

In dieser Phase wurden segmentierte Trainingsdaten mit binären Experten- und Anfängerbezeichnungen einbezogen. Um die Vorhersagekraft von Kraftdaten zu stärken, wurden für jedes Fenster mit 200 Datenpunkten insgesamt 29 handgefertigte Funktionen (Tabelle S1) berechnet, die das Verhalten von Zeitreihendaten der chirurgischen Kraft erfassen können und in unserer vorherigen Studie1 analysiert wurden als drittes Signal zu einem Deep-Learning-Modell nach einem Merkmalsauswahlprozess hinzugefügt (Ergänzungsmaterialtabellen S2, S3). Unsere Datenkurationspipeline führte nach der Rauschreduzierung eine zeitreihenbasierte Merkmalsextraktion der segmentierten Daten durch1. Durch den Normalisierungsprozess wurden die Merkmalsdaten in eine Gaußsche Verteilung mit einem Mittelwert von Null und einer Einheitsvarianz umgewandelt und erneut abgetastet, um sie an die Größe des Kraftdatenfensters von 200 Punkten mit dem Verhältnis zum Maximum als Reihenfolge der Spline-Interpolation und dem Kantenmodus für die Randdatenimputation anzupassen. Die normalisierten und umgeformten Daten erzeugten 3,6 K neu abgetastete Kraftsegmentfenster (1766 Anfänger- und 1859 Expertensegmente), die unter Verwendung eines One-Hot-Vektors und einer zufälligen Aufteilung in Trainingsvalidierung, d. h. 80 % (20 % Validierung), und codiert wurden Prüfung, dh 20 %, Proben.

In dieser Phase wurde die wichtigste chirurgische Aufgabe der Koagulation als Datenkennzeichnung zur Unterscheidung von anderen Aufgaben betrachtet. Ähnlich wie beim Fähigkeitsklassifizierungsmodell wurden die 29 handgefertigten Merkmale (Tabelle S1) in das neuronale Netzwerk eingespeist, nachdem sie über 200 Datenpunktfenster berechnet, ordnungsgemäße Rauschunterdrückung, Ausreißerentfernung, Normalisierung und Neuabtastung sowie Merkmalsauswahl durchgeführt wurden (Ergänzungsmaterialien). Tabellen S4, S5). Die verarbeiteten Kraftsegmente bestanden aus 2 K Proben (1170 Kraftsegmente der Koagulation und 915 Segmente der Nichtkoagulation (Manipulation = 323, Ziehen = 316, Zurückziehen = 149 und Dissektion = 127)), wobei das One-Hot-Codierungsformat 64 % betrug. Schulung, 16 % Validierung und 20 % Testproben.

Es wurden zwei Deep-Learning- und ein Basismodell erstellt, um die Erfahrungsstufen des Chirurgen (z. B. Anfänger und Experte) und die Aktivitätserkennung bei der Ausführung einer bestimmten Aufgabe (z. B. Koagulation und Nicht-Koagulation (z. B. Ziehen, Manipulieren, Präparieren und Zurückziehen)) zu klassifizieren. . Um die erlernten Merkmale zu erhalten, wurde ein tiefes neuronales Netzwerkmodell für die Zeitreihenklassifizierung basierend auf InceptionTime29, dh FTFIT (Force Time-series Feature-based InceptionTime), entwickelt. Dies wurde zusammen mit den oben beschriebenen technischen Merkmalen in einer auf logistischer Regression basierenden Klassifizierung der Erfahrung von Chirurgen verwendet. Es wurde ein zweites Deep-Learning-Modell verwendet, das auf einem neuronalen LSTM-Netzwerk für die zeitreihenbasierte Aktivitäts- und Erfahrungserkennung von Chirurgen basiert. Diese Modelle folgten einem Basis-XGBoost-Klassifikator, der die handgefertigten Funktionen verwendete (Einzelheiten zur Modellierung und zu den Ergebnissen finden Sie in den ergänzenden Materialabbildungen S11, S12 und S18, S19). Weitere Details zu Modelleigenschaften und Hyperparameter-Tuning finden Sie in den ergänzenden Materialien (Abbildungen S4, S5, S6).

Für alle Modelle: Zusammenfassung einschließlich Typ, Form und Parameteranzahl für jede Ebene; Verlust- und Genauigkeitswerte für Trainings- und Validierungsdaten in jeder Epoche; Klassifizierungsbericht einschließlich fünffacher Kreuzvalidierungsgenauigkeit, ausgewähltes Modell (durch Rastersuche nach Validierungsverlust), Testgenauigkeit (Sensitivität und Spezifität), durchschnittliche Präzision, Rückruf, gewichteter F1-Score und Fläche unter der Kurve (AUC) für die Betriebscharakteristik des Empfängers ( ROC) und Präzisionsrückrufkurven während der Validierung und Tests mit den entsprechenden Diagrammen und Grafiken wurden generiert. Das Modelltraining wurde unter Verwendung einer Workstation mit Intel Core i9-9820X-CPU (10 Kerne, 4,20 GHz Turbo), 2 × Titan RTX mit NVLink-GPU und 64 GB Speicher durchgeführt. Das Training und die Validierung der Datensegmentierung dauerte etwa 0,7 Stunden und das Training und die Validierung der Datensegmentierung etwa 0,4 Stunden für Kompetenzklassifizierungs- und Aufgabenerkennungsmodelle.

Daten zur Werkzeug-Gewebe-Wechselwirkungskraft aus 50 neurochirurgischen Eingriffen zur Tumorresektion bei Erwachsenen (30 Männer/20 Frauen, mittleres (SD) Alter: 54,7 (14,1)) zwischen November 2019 und Oktober 2020, einschließlich Meningeom (n = 10), Gliom (n = 10), Schwannom (n = 15) und Hämangioblastom (n = 3) (+ 12 weitere Fälle, z. B. Trigeminusneuralgie/hemifazialer Spasmus, kavernöses Angiom usw.). Die Fälle wurden von 13 Chirurgen durchgeführt, d. h. einem Experten mit mehr als 30 Jahren Erfahrung und zwölf unerfahrenen Chirurgen, darunter Assistenzärzte mit Postgraduiertenjahren (PGY) auf drei Ebenen von 1–2 (n = 4), 3–4 (n = 3) und > 4 Jahre (n = 4) und ein Stipendiat.

Die punktweise Datenklassifizierung als EIN und AUS, betrachtet als Kraftdatensegmente durch das TU-Net-Modell, zeigte die besten Ergebnisse für eine Lernrate von 0,001, 16 als Filtergröße, eine Größe des beweglichen Fensters von 224 und eine Stapelgröße von 128. Die mittlere Inferenzzeit betrug 0,24 s und der minimale Validierungsverlustwert, der in Epoche 27 auftrat (Abbildung S7a), betrug 0,1046 (Trainingsverlust = 0,0853). Die Ergebnisse der fünffachen Kreuzvalidierung zeigten eine mittlere (SD) Genauigkeit von 0,95 (0,01). Die Makro-AUC des ROC betrug 0,99 und beim Testen des Modells betrug die Genauigkeit 0,95 (F1-Score: 0,96 für Klasse EIN und 0,95 für Klasse AUS, gewichteter Wert = 0,95) (Tabelle 1). Detaillierte Ergebnisse sind in den Abbildungen S7, S8, S9, S10 (Ergänzungsmaterialien) dargestellt.

Die überlappende Verteilung der Features in den Klassen Expert und Novice ist ein frühes Anzeichen für eine suboptimale Leistung der Feature-Erweiterung im Netzwerk (Abb. 2a). Die Zeitreihenklassifizierung schnitt in FTFIT am besten ab, ohne dass dem Netzwerk handgefertigte Merkmale hinzugefügt wurden (AUC = 0,81; p-Wert < 0,001) (Abb. 3a). Das Modell zeichnete sich durch eine Lernrate von 0,001 und eine Netzwerktiefe von 6, eine Größe des beweglichen Fensters von 200 und eine Stapelgröße von 128 aus. Die Testzeit für jede Stichprobe betrug durchschnittlich 0,24 s, und das Modell erreichte einen minimalen Validierungsverlust in Epoche 66 (von 100 Epochen) (Validierungsverlust = 0,5285 und Trainingsverlust = 0,4841 (Abbildung S14a)). Die Makro-AUC des ROC betrug 0,81 und beim Testen des Modells auf unsichtbare Instanzen von Kraftdaten betrug die Genauigkeit 0,71 (der Mittelwert (SD) der fünffach kreuzvalidierten Genauigkeit betrug 0,73 (0,03)) mit einem F1-Score von 0,71 in beiden Experten , und Anfängerklassen (gewichteter Wert = 0,71) (Tabelle 1). Detaillierte Ergebnisse sind in den Abbildungen S14, S15, S16, S17 (Ergänzungsmaterialien) verfügbar.

Fähigkeitsklassifizierungsmodell Die Abbildung zeigt die Form der standardisierten Datenverteilung (Gauß mit Mittelwert Null und Einheitsvarianz) für jede Fähigkeit, d. h. normal mit einer geringen Tendenz zur negativen Schiefe in der Entropie, normal mit einer geringen Tendenz zur positiven Schiefe in der Reichweitenkraft Negativ verzerrt in der Heterogenität und positiv verzerrt in der Dauerkraft. Darüber hinaus wurde eine positive Korrelation zwischen Stabilität vs. Reichweitenkraft und eine negative Korrelation zwischen Entropie vs. Reichweitenkraft und Stabilität vs. Entropie beobachtet. Hinweis: Die Datenvisualisierung wurde erstellt, nachdem Ausreißer des Z-Scores < 3 in allen Proben entfernt wurden.

Aufgabenerkennungsmodell Die Form der standardisierten Datenverteilung für die Koagulation im Vergleich zu anderen Aufgaben, dh normal in der Entropie, negativ verzerrt in der Heterogenität und positiv verzerrt in der Dauerkraft und Reichweitenkraft, wurde gezeigt. Darüber hinaus wurde eine positive Korrelation zwischen Heterogenität und Reichweitenkraft sowie eine negative Korrelation zwischen Entropie und Reichweitenkraft sowie Heterogenität und Entropie festgestellt. Hinweis: Die Datenvisualisierung wurde erstellt, nachdem Ausreißer des Z-Scores < 3 in allen Proben entfernt wurden.

Korrelations- und Verteilungsdiagramme für standardisierte handgefertigte Merkmale der Teilmenge 1 mit ihren jeweiligen Klassenbezeichnungen, die in den Modellen zur Fähigkeitsklassifizierung und Aufgabenerkennung verwendet werden.

Leistungsvergleich zwischen LSTM- und FTFIT-Modellen mit handgefertigten Funktionskombinationen bei der Vorhersage chirurgischer Fähigkeiten und der Aufgabenerkennung. Verschiedene Kombinationen handgefertigter Features, d. h. kein Feature, ausgewählter Satz von Features, identifiziert durch KNN- und XGBoost-Feature-Wichtigkeitsranking, und eine Teilmenge von Features (Dauerkraft, Reichweitenkraft, Entropie und Heterogenität), die mit den präsentierten Features übereinstimmten im SmartForceps Leistungs-Dashboard1) verglichen.

(a) Vorhersage chirurgischer Fähigkeiten Das leistungsstärkste Modell war FTFIT ohne hinzugefügte handgefertigte Funktionen zum Netzwerk mit einer AUC = 0,81 (p-Wert < 0,001).

(b) FTFIT zur Erkennung chirurgischer Aufgaben mit Teilmenge 1 der handgefertigten Merkmale (n = 4), die dem Netzwerk hinzugefügt wurden, gehörte mit einer AUC = 0,89 (p-Wert < 0,001) zu den Modellen mit der besten Leistung.

Die Durchführung der Aufgabenerkennung für Koagulation und Nicht-Koagulation (nach einer zufälligen Auswahl von 0,5 Koagulationssegmenten für den Datenausgleich) unter Verwendung von FTFIT, wobei Teilmenge 1 der handgefertigten Merkmale (n = 4) zum Netzwerk hinzugefügt wurde (Abb. 2b). die besten Ergebnisse (AUC = 0,89; p-Wert < 0,001) (Abb. 3-b). Dieses Modell hatte eine Lernrate von 0,01, eine Netzwerktiefe von 12, eine Größe des beweglichen Fensters von 200, eine Stapelgröße von 128 und kam zu einer durchschnittlichen Inferenzzeit von 0,20 s. Der minimale Validierungsverlustwert dieses Modells trat in Epoche 46 (von 150 Epochen) mit einem Validierungsverlust von 0,4002 und einem Trainingsverlust von 0,3025 auf (Abbildung S21a). Die Makro-AUC des ROC betrug 0,89 und die Testergebnisse zeigten eine Genauigkeit von 0,82 mit einer mittleren (SD) fünffach kreuzvalidierten Genauigkeit von 0,79 (0,07). (Der F1-Score der Koagulationsklasse betrug 0,85 und für die Nichtkoagulationsklasse 0,77; gewichteter Durchschnitt = 0,82) (Tabelle 1). Detaillierte Ergebnisse sind in den Abbildungen S21, S22, S23, S24 (Ergänzungsmaterialien) verfügbar.

Modelle des maschinellen Lernens wurden in Ressourcen und Pipelines übersetzt, die in die Cloud-Plattform eingebettet waren, um spontane Analysen und Feedback an Chirurgen zu ermöglichen. Die endgültige Ausgabe für die Segmentierung und Fähigkeits-/Aufgabenerkennung wurde durch vergleichende Verteilungsdiagramme und einzelne Kraftprofilsegmente wie zuvor beschrieben1 visualisiert. Abbildung 4 zeigt die Kraftprofile und den Leistungsbericht eines Chirurgen über drei Fälle von Hirntumorresektionen.

Übersicht über die verarbeiteten Daten für drei chirurgische Eingriffe mithilfe der maschinellen Lernmodellierung und -erkennung von SmartForceps. Diese Abbildung ist eine Momentaufnahme der Registerkarte „Surgical Force Data“ im SmartForceps-Leistungsüberwachungs-Dashboard, die die endgültige Ausgabe der Daten- und Analysepipeline zeigt. Die Pipeline begann mit der Erfassung von Operationssaaldaten mithilfe spezieller Software, wurde mit der Analyse-Engine von Microsoft Data Factory zur Vorverarbeitung von Daten und Mustererkennung fortgesetzt und endete mit dem Dashboard zur Leistungsüberwachung für Mobilgeräte/Desktops.

(a) Chirurgische Kraftdaten In dieser Darstellung handelt es sich um eine aggregierte Datenverteilung der Leistung des Chirurgen sowohl auf Expertenniveau (grüne Violindiagramme) als auch auf Anfängerniveau (violette Violindiagramme) über die chirurgischen Aufgaben hinweg, basierend auf dem Kraftunsicherheitsindex (d. h. Entropie als). eine Funktion), die aus dem Dropdown-Menü (linkes Säulendiagramm) ausgewählt wurde, wird gemeldet. Das rechte Säulendiagramm zeigt die tatsächlichen Kraftprofile für den linken (rotes Zeitreihendiagramm) und rechten (blaues Zeitreihendiagramm) Zinken von SmartForceps.

(b) Leistungsvergleich Diese Abbildung zeigt Leistungsvergleiche (violetter Balken) des Chirurgen im Vergleich zu Chirurgen auf Expertenebene (Mittelwert und Standardabweichung als rote Markierung bzw. grüner Bereich angezeigt) nach Extraktion von Merkmalen im Zusammenhang mit chirurgischer Kraft auf segmentierten Kraftprofilen von TU-Net. Die Messdiagramme zeigen die jeweiligen Werte für die durchschnittliche Kraftdauer, den Kraftbereich, die Kraftvariabilität und die Kraftunsicherheitsindizes für drei vom Chirurgen durchgeführte chirurgische Eingriffe. In dieser Grafik beginnt die repräsentative Chirurgenanzeige bei Null als Basislinie mit dem Ziel, die Expertenniveauwerte zu erreichen, die durch einen roten Balken und einen grünen Bereich gekennzeichnet sind. Dieser Chirurg hatte im Vergleich zum Durchschnitt der Expertendaten eine höhere durchschnittliche Kraftdauer (2,19 s mehr), einen geringeren Kraftbereich (0,2 N weniger), eine geringere Kraftvariabilität (46 Punkte weniger) und eine höhere Kraftunsicherheit (0,12 Punkte mehr).

Diese Arbeit stellt einen Originalalgorithmus vor, der dauerhaft hinter den Kulissen im OP als datengestützter virtueller Operationsassistent in realen Umgebungen läuft30,31. Aufbauend auf den mit SmartForceps gewonnenen Zeitreihendaten wurde ein schrittweiser Prozess entwickelt, um einzigartige Modelle für maschinelles Lernen zu etablieren, die maßgeschneidert sind, um glaubwürdiges Leistungsfeedback und Interkonnektivität in Echtzeit im OP zu ermöglichen. Tatsächlich lieferten solche automatisierten Analysen auf der Grundlage der Werkzeug-Gewebe-Interaktionskraft einen ganzheitlichen Überblick über kombinatorische Elemente, die chirurgische Fähigkeiten prägen, z. B. Werkzeug-Gewebe-Kräfte, Kraftprofil, Bewegung, Hand-Auge-Koordination usw., die alle zum chirurgischen Eingriff beitragen können Finesse1,32.

Beim Training eines Frameworks für maschinelles Lernen kann jedes Datenungleichgewicht eine Herausforderung in den Vorhersagemodellen darstellen, da es auf die Mehrheitsklasse ausgerichtet ist. Dieses Problem wurde durch die Eliminierung von Daten gemildert, d. h. die Entfernung von Kraftblöcken während Geräteleerlaufzeiten bei der Kraftprofilsegmentierung und eine zufällige 50-prozentige Stichprobe von Kraftsegmenten bei der hochfrequenten Koagulationsaufgabe. Da das Zeitreihen-Segmentierungsmodell eine punktweise Klassifizierung von EIN/AUS-Instanzen ermöglicht, sind für die Produktionsphase Nachbearbeitungsanalysen erforderlich, einschließlich der Extraktion kontinuierlicher Force-ON-Blöcke, die den Datenlängenanforderungen entsprechen, und des Ausgleichs der rauschbedingten Diskontinuität in der identifizierte Segmente. Die Produktionspipeline umfasste Datenfabriken, Funktionen und REST-APIs, die nach dem Hochladen der OP-Daten in die Cloud als personalisierte Dashboard-Anwendung zur Leistungsüberwachung dienten1,27.

Während die Anbindung handgefertigter Funktionen an neuronale Netze für Kompetenzerkennungs- und Aufgabenklassifizierungsmodelle bevorzugt wurde, kann die Ausgabe eine doppelte Inferenz implizieren. Nach umfangreichen Versuchen wurde deutlich, dass die Einbeziehung ausgewählter Funktionssätze die Leistung bei der Fähigkeitsklassifizierung verringern würde (AUC verringert sich in FTFIT von 0,81 auf 0,76, wenn die Fenstergröße 200 verwendet wird). Andererseits gehörte die Kombination replizierter Leistungsmerkmale im SmartForceps-Überwachungs-Dashboard1, z. B. Dauerkraft, Reichweitenkraft, Entropie und Heterogenität, zu den leistungsstärksten Kombinationen in Deep-Learning-Modellen (Leistungsbereich von AUC = 0,85 bis 0,89 Zoll). Aufgabenerkennungsmodelle mit LSTM oder FTFIT). Dies zeigte die Bedeutung einer anwendungsspezifischen optimalen Modellierung und ihrer Validierung für den Einsatz in der realen Welt. In Modellen für maschinelles Lernen mit begrenzten Daten kommt es häufig zu einer Überanpassung, und die Basismodelle weisen auf ein solches Phänomen hin, wie in den ergänzenden Materialien anhand der Unterschiede zwischen Trainings- und Testgenauigkeiten gezeigt. Um eine Überanpassung abzumildern, wurden eine Rastersuche zur Feinabstimmung des Modells und ein vorzeitiges Anhalten aufgrund von Validierungsverlusten implementiert. Eine fünffache Kreuzvalidierung wurde durchgeführt, um die endgültige Leistung des Modells anhand der besten Hyperparameter zu bewerten. Die Ergebnisse zeigten eine gute Übereinstimmung zwischen Tests und mittleren (SD) kreuzvalidierten Genauigkeiten für die Segmentierung (0,95 vs. 0,95 (0,01)) und die Fähigkeitsklassifizierung (0,71 vs. 0,73 (0,03)), aber höhere Variabilitäten für die Aufgabenerkennung (0,82 vs. 0,79 (0,07)). Eine Genauigkeit von 0,7 ist jedoch der Mindestwert, der von allen kreuzvalidierten Modellen abgedeckt wird.

Obwohl die enthaltenen Merkmalssätze einen Normalisierungsprozess durchliefen, bevor sie in den tiefen neuronalen Netzen zirkulierten, würden sich einige dieser Merkmale inhärente Variabilität und rauschanfällige Eigenschaften (z. B. Spikyness und Varianzkoeffizient mit sehr geringen bzw. hohen Variabilitäten) negativ auf eine Zeit auswirken -Serien-Profildeskriptor. Die Verteilung der Merkmalswerte in Abb. 2a zeigte trotz Abb. 2b für Aufgabenkategorien eine hohe Ähnlichkeit über alle Fähigkeitsstufen hinweg. Dies spiegelt sich bis zu einem gewissen Grad im Leistungsvergleich zwischen den beiden Mustererkennungsbemühungen wider, dh die Aufgabenerkennung weist eine bessere Leistung auf als die Fähigkeitsklassifizierung. Diese suboptimale Leistung der Klassifizierung chirurgischer Fähigkeiten kann durch eine statistische Analyse der diesem Modell zugrunde liegenden Faktoren erklärt werden. Unsere Analyse zeigte, dass der Mittelwert (SD: Standardabweichung) für die Kraftdauer bei der Koagulation 12,1 (7,2) Sekunden betrug (d. h. etwa 58 % höher als der Durchschnitt der Abschlusszeit bei anderen Aufgaben: p-Wert des Zwei-Wege-ANOVA-Tests < 0,001). Allerdings betrug dieser Messvergleich zwischen Experten- und Anfängergruppe 12,2 (7,2) gegenüber 12,1 (7,3), was nur einem Unterschied von 0,8 % entspricht. Ein ähnliches Verhalten wurde für die Mindestkraft (p-Wert der Aufgabenklassen = 0,1; p-Wert der Fähigkeitsklassen < 0,001), die Schiefe der Kraftverteilung (p-Wert der Aufgabenklassen = 0,8; p-Wert der Fähigkeitsklassen < 0,001) und den ersten Autokorrelationsnullpunkt des Kraftprofils (p-Wert der Aufgabenklassen) beobachtet Klassen-p-Wert = 0,9; Fertigkeitsklassen-p-Wert < 0,001)13. Eine geringere Leistung bei der Fähigkeitsklassifizierung wurde auch in früheren Studien berichtet, in denen die Forscher eine durchschnittliche Präzision von 91 % bei der Erkennung chirurgischer Eingriffe zeigten, jedoch 77 % bei der Vorhersage chirurgischer Fähigkeiten mithilfe von Deep Learning auf chirurgischen Videos 6. Dies kann sich teilweise auf reale Ergebnisse beziehen -Weltszenario, bei dem angehende Chirurgen nur die Aufgaben ausführen, die der Oberarzt aufgrund seines Kompetenzniveaus und seines Komforts delegiert. Darüber hinaus kann diese Musterähnlichkeit möglicherweise darauf zurückgeführt werden, dass die Auszubildenden in unseren einzelnen institutionellen Daten dem Beispiel des Mentors folgten. Die Einbeziehung multiinstitutioneller Daten mit ausgeprägteren Mustern in den Mentor-Auszubildenden-Populationen und -Verfahren würde dazu beitragen, den Rahmen für maschinelles Lernen mit mehr Granularität und Diversität der eingehenden Daten auszustatten und zu bereichern, d.

Interessanterweise hatte die Größe des Eingabezeitreihenfensters einen Einfluss auf die Modellierungsleistung, d. h. AUC = 0,78 bis 0,81 für das Kompetenzklassifizierungsmodell und AUC = 0,87 bis 0,89 für das Aufgabenerkennungsmodell unter Verwendung des FTFIT-Netzwerks. Dies bezog sich hauptsächlich auf die durchschnittliche Dauer eines Kraftsegments, die nahe bei 10 s lag (200 Datenpunkte unter Berücksichtigung der Abtastrate von 20 Hz). Die Internalisierung des FTFIT-Netzwerks für die SmartForceps-Datenmodellierung zeigte eine deutliche Verbesserung im Vergleich zu einem weit verbreiteten Deep-Learning-Modell, d. h. LSTM, sowohl bei der Fähigkeitserkennung (AUC-Verbesserungen von 0,60 auf 0,81) als auch bei der Aufgabenerkennung (AUC-Verbesserungen von 0,69 auf 0,89). Dieser Vergleich mit dem XGBoost-Basismodell zeigte auch eine Verbesserung der Testgenauigkeit, d. h. von 0,65 auf 0,71 bei der Fähigkeitsklassifizierung und von 0,81 auf 0,82 bei der Aufgabenerkennung. Faltungsoperationen in FTFIT ermöglichten außerdem die Erfassung der lokalen Struktur des Kraftprofils, z. B. Linien und Kurven, in den Neuronen der unteren Schicht des Netzwerks, während verschiedene Formen, z. B. Täler und Hügel, in den oberen Schichten erfasst wurden. Darüber hinaus machen die Geschwindigkeit, Leistung und Skalierbarkeit FTFIT zu einem geeigneten Kandidaten für den weit verbreiteten Einsatz der SmartForceps-Plattformen für maschinelles Lernen29.

Es wurden Bemühungen unternommen, KI für die chirurgische Überwachung und Leistungsbewertung einzusetzen, vor allem in der chirurgischen Robotik, wobei haptisches Feedback, Roboterkinematik und klinische Informationen wie Operationszeit, Blutverlust usw. verknüpft werden, um chirurgische Ergebnisse als Maß für die Leistung vorherzusagen33,34 . In ähnlicher Weise wurde die chirurgische videobasierte Lokalisierung der Flugbahn und Bewegungseigenschaften chirurgischer Instrumente unter Verwendung des Fast R-CNN-Modells zur Abschätzung der Leistungsüberwachung eingesetzt35. Für die Erkennung chirurgischer Aufgaben haben Forscher kontinuierliche kinematische Daten untersucht, die als Zeichenfolgen dargestellt werden, um eine diskriminierende Gestenerkennung anhand der relativen Auftrittshäufigkeit zu ermöglichen, die durch vergleichende numerische Statistiken gemessen wird36. Es wurden auch räumlich-zeitliche Merkmale auf niedriger Ebene aus Videodaten kombiniert mit einem segmentalen Klassifikator auf hoher Ebene basierend auf einem Faltungs-Neuronalen Netzwerk verwendet, das visuelle Objekte mit zeitlichen Komponenten integriert37. Zur Unterstützung klinischer Entscheidungen wurden datengesteuerte Ansätze entwickelt. Präoperative und intraoperative Daten aus mehreren Quellen aus einer großen Anzahl chirurgischer Fälle wurden verwendet, um postoperative Komplikationen vorherzusagen38. Darüber hinaus wurde Deep Learning verwendet, um die Operationsdauer in Echtzeit vorherzusagen und so fundierte präoperative Entscheidungen zu treffen39. Obwohl ein Eins-zu-eins-Vergleich der Leistung zwischen Studien aufgrund unterschiedlicher Ziele als ungeeignet erachtet wurde, wurde eine einzige Modalität, Kraftdaten, nie zur Bewertung der Leistung auf der Grundlage chirurgischer Aufgaben, wie z. B. der Koagulation als lebenswichtiger Bestandteil der Gefäßchirurgie, verwendet.

Diese Studie wurde durch die Einbeziehung nur eines erfahrenen Chirurgen eingeschränkt, was sich möglicherweise auf das Klassifizierungsmodell der chirurgischen Fähigkeiten auswirkt. Da sich die Technologie derzeit auf andere Zentren ausweitet, ermöglicht sie eine vielfältige Datenerfassung von einer Vielzahl von Operationsteams. Klinische Studien und Umschulungen von Modellen mit einer größeren Anzahl von Operationsteams werden in zukünftige Studien einbezogen.

Hier haben wir mithilfe der SmartForceps-Technologie eine einzigartige datengestützte End-to-End-Pipeline entwickelt, die die Konzepte der Verewigung chirurgischer Fähigkeiten festigt. Vielleicht könnte man dies als einen virtuellen Assistenten betrachten, der auf einer Cloud-Plattform gehostet wird und den Zugriff über geografische oder Generationengrenzen hinweg ermöglicht. Sensorgesteuerte Technologie, die eine digitale, quantifizierbare Ausgabe ermöglicht, wird als zeitgemäß und notwendig erachtet, um den zeitgemäßen Übergang zu einer kompetenzbasierten chirurgischen Ausbildung und Praxis zu erleichtern.

Ergänzende Abbildungen und Tabellen zu diesem Dokument sind über diesen Link verfügbar: https://github.com/smartforceps/ai_models/tree/main/supplementary-files.

Beispielhafte anonymisierte Daten und Modellierungscodes sind in einem GitHub-Repository verfügbar: https://github.com/smartforceps/ai_models.

Baghdadi, A. et al. Ein datengesteuertes Leistungs-Dashboard für die chirurgische Dissektion. Wissenschaft. Rep. 11(1), 1–13 (2021).

Artikel MathSciNet Google Scholar

Padoy, N. et al. Statistische Modellierung und Erkennung chirurgischer Arbeitsabläufe. Med. Bild Anal. 16(3), 632–641 (2012).

Artikel PubMed Google Scholar

Maier-Hein, L. et al. Chirurgische Datenwissenschaft für Interventionen der nächsten Generation. Nat. Biomed. Ing. 1(9), 691–696 (2017).

Artikel PubMed Google Scholar

Topol, EJ Hochleistungsmedizin: Die Konvergenz von menschlicher und künstlicher Intelligenz. Nat. Med. 25(1), 44–56 (2019).

Artikel CAS PubMed Google Scholar

Absender, JT et al. Eine Einführung und ein Überblick über maschinelles Lernen in der neurochirurgischen Versorgung. Acta Neurochir. 160(1), 29–38 (2018).

Artikel ADS PubMed Google Scholar

Gomez, ED et al. Objektive Beurteilung der roboterchirurgischen Fähigkeiten mithilfe von Instrumentenkontaktvibrationen. Surg. Endosz. 30(4), 1419–1431 (2016).

Artikel PubMed Google Scholar

Guru, KA et al. Beurteilung der kognitiven Fähigkeiten während der robotergestützten Chirurgie: Die Spreu vom Weizen trennen. BJU Int. 115(1), 166–174 (2015).

Artikel PubMed Google Scholar

Vedula, SS et al. Quantitative Metriken auf Aufgabenebene versus Segmentebene zur Beurteilung chirurgischer Fähigkeiten. J. Surg. Educ. 73(3), 482–489 (2016).

Artikel PubMed Google Scholar

Lee, D. et al. Bewertung der chirurgischen Fähigkeiten während der Roboterchirurgie durch Deep-Learning-basierte Verfolgung mehrerer chirurgischer Instrumente in der Ausbildung und bei tatsächlichen Operationen. J. Clin. Med. 9(6), 1964 (2020).

Artikel PubMed PubMed Central Google Scholar

Bamba, Y. et al. Automatisierte Erkennung von Objekten und Pinzettentypen in Operationsbildern mittels Deep Learning. Wissenschaft. Rep. 11(1), 22571 (2021).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Khalid, S. et al. Evaluierung von Deep-Learning-Modellen zur Identifizierung chirurgischer Maßnahmen und Messung der Leistung. JAMA Netw. Öffnen Sie 3(3), e201664–e201664 (2020).

Artikel PubMed Google Scholar

Lavanchy, JL et al. Automatisierung der Beurteilung chirurgischer Fähigkeiten mithilfe eines dreistufigen Algorithmus für maschinelles Lernen. Wissenschaft. Rep. 11(1), 5197 (2021).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Lam, K. et al. Maschinelles Lernen zur Beurteilung technischer Fähigkeiten in der Chirurgie: Eine systematische Überprüfung. NPJ-Ziffer. Med. 5(1), 24 (2022).

Artikel PubMed PubMed Central Google Scholar

Bissonnette, V. et al. Künstliche Intelligenz unterscheidet chirurgische Trainingsniveaus in einer Wirbelsäulenaufgabe in virtueller Realität. J. Bone Jt. Surg. Bin. 101(23), e127 (2019).

Artikel Google Scholar

Rosen, J. et al. Markov-Modellierung der minimalinvasiven Chirurgie basierend auf der Wechselwirkung zwischen Werkzeug und Gewebe und Kraft-/Drehmomentsignaturen zur Bewertung chirurgischer Fähigkeiten. IEEE Trans. Biomed. Ing. 48(5), 579–591 (2001).

Artikel CAS PubMed Google Scholar

Sugiyama, T. et al. Kräfte der Werkzeug-Gewebe-Interaktion zur Beurteilung des chirurgischen Fertigkeitsniveaus. JAMA Surg. 153(3), 234–242 (2018).

Artikel PubMed Google Scholar

Abiri, A. et al. Multimodales haptisches Feedback zur Reduzierung der Griffkraft in der Roboterchirurgie. Wissenschaft. Rep. 9(1), 1–10 (2019).

Artikel CAS Google Scholar

Brown, JD et al. Nutzung von Kontaktkräften und Roboterarmbeschleunigungen zur automatischen Bewertung der Fähigkeiten des Chirurgen bei der Stiftübertragung. IEEE Trans. Biomed. Ing. 64(9), 2263–2275 (2016).

Artikel PubMed Google Scholar

Tholey, G., Desai, JP & Castellanos, AE Force-Feedback spielt eine wichtige Rolle in der minimalinvasiven Chirurgie: Ergebnisse und Analyse. Ann. Surg. 241(1), 102 (2005).

Artikel PubMed PubMed Central Google Scholar

Wagner, CR et al. Der Nutzen von Force Feedback in der Chirurgie: Untersuchung der stumpfen Dissektion. Präsenz Teleoper. Virtuelle Umgebung. 16(3), 252–262 (2007).

Artikel Google Scholar

Zareinia, K. et al. Eine kraftempfindliche bipolare Pinzette zur Quantifizierung der Wechselwirkungskräfte zwischen Werkzeug und Gewebe in der Mikrochirurgie. IEEE/ASME Trans. Mech. 21(5), 2365–2377 (2016).

Artikel Google Scholar

Sutherland, GR, et al., Bipolare Zange mit Kraftmessung: (2021).

Sugiyama, T. et al. Werkzeug-Gewebe-Wechselwirkungskräfte in der arteriovenösen Malformationschirurgie des Gehirns. Weltneurochirurg. 102, 221–228 (2017).

Artikel PubMed Google Scholar

Sutherland, GR, et al., Machine Learning for Interconnected Surgical Theatre Architecture, USPA, Herausgeber (2021).

Albakr, A. et al. Einführung in die Nuancen der Werkzeug-Gewebe-Interaktionskräfte in der Hämangioblastom-Chirurgie. J. Neurol. Surg. Teil B Schädel. Basis 83(01), 159 (2022).

Google Scholar

Gan, LS et al. Quantifizierung der Kräfte während eines neurochirurgischen Eingriffs: Eine Pilotstudie. Weltneurochirurg. 84(2), 537–548 (2015).

Artikel PubMed Google Scholar

Sutherland, GR, et al., Machine Learning-Based Surgical Instrument Characterization, USPA, Herausgeber. (2021).

Huang, H., et al. Unet 3+: Ein vollständig vernetztes Unet für die Segmentierung medizinischer Bilder. In: ICASSP 2020–2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). (IEEE, 2020).

Fawaz, HI et al. Inceptiontime: Alexnet für die Klassifizierung von Zeitreihen finden. Daten min. Wissen. Rabatt. 34(6), 1936–1962 (2020).

Artikel MathSciNet Google Scholar

Buchlak, QD et al. Anwendungen des maschinellen Lernens für die Neurobildgebung zur Erkennung und Klassifizierung von Gliomen: Eine durch künstliche Intelligenz erweiterte systematische Überprüfung. J. Clin. Neurosci. 89, 177–198 (2021).

Artikel PubMed Google Scholar

Birkmeyer, JD et al. Chirurgische Fähigkeiten und Komplikationsraten nach bariatrischer Chirurgie. N. engl. J. Med. 369(15), 1434–1442 (2013).

Artikel CAS PubMed Google Scholar

Baghdadi, A. et al. Die Datenanalyse untersucht die chirurgische Leistung von Robotern mithilfe eines mikrochirurgiespezifischen haptischen Geräts. Experte Rev. Med. Geräte 17(7), 721–730 (2020).

Artikel CAS PubMed Google Scholar

Hashimoto, DA et al. Künstliche Intelligenz in der Chirurgie: Versprechen und Gefahren. Ann. Surg. 268(1), 70 (2018).

Artikel PubMed Google Scholar

Hung, AJ et al. Nutzung von maschinellem Lernen und automatisierten Leistungsmetriken, um die Leistung der robotergestützten radikalen Prostatektomie zu bewerten und Ergebnisse vorherzusagen. J. Endourol. 32(5), 438–444 (2018).

Artikel PubMed Google Scholar

Jin, A., et al. Werkzeugerkennung und Bewertung der operativen Fähigkeiten in chirurgischen Videos mithilfe regionalbasierter Faltungs-Neuronaler Netze. In: 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). (IEEE, 2018).

Forestier, G. et al. Chirurgische Bewegungsanalyse mit diskriminativ interpretierbaren Mustern. Artif. Intel. Med. 91, 3–11 (2018).

Artikel PubMed Google Scholar

Lea, C. et al. Segmentale räumlich-zeitliche CNNs für eine feinkörnige Aktionssegmentierung. In European Conference on Computer Vision (Hrsg. Leibe, B. et al.) (Springer, 2016).

Google Scholar

Xue, B. et al. Einsatz von maschinellem Lernen zur Entwicklung und Bewertung von Modellen anhand präoperativer und intraoperativer Daten zur Identifizierung von Risiken postoperativer Komplikationen. JAMA Netw. Öffnen Sie 4(3), e212240–e212240 (2021).

Artikel MathSciNet PubMed PubMed Central Google Scholar

Jiao, Y. et al. Kontinuierliche Echtzeitvorhersage der Operationsdauer mithilfe eines modularen künstlichen neuronalen Netzwerks. Br. J. Anaesth. 128(5), 829–837 (2022).

Artikel PubMed PubMed Central Google Scholar

Referenzen herunterladen

Diese Studie wurde durch Zuschüsse von (1) Alberta-Germany Collaborative Funds (Deutsch-Kanadisches Zentrum für Innovation und Forschung); und (2) Canadian Institutes of Health Research (G. Nr. 390405) – Technologiekommerzialisierung. Rolle des Geldgebers/Sponsors: Die Geldgeber spielten keine Rolle bei der Konzeption und Durchführung der Studie; Sammlung, Verwaltung, Analyse und Interpretation der Daten; Vorbereitung, Überprüfung oder Genehmigung des Manuskripts; und Entscheidung, das Manuskript zur Veröffentlichung einzureichen.

Projekt neuroArm, Abteilung für klinische Neurowissenschaften, Hotchkiss Brain Institute University of Calgary, Calgary, AB, Kanada

Amir Baghdadi, Sanju Lama, Rahul Singh und Garnette R. Sutherland

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

AB hatte vollen Zugriff auf alle Daten der Studie und übernimmt die Verantwortung für die Integrität der Daten und die Genauigkeit der Datenanalyse. Konzept und Design: Alle Autoren. Erfassung, Analyse oder Interpretation von Daten: Alle Autoren. Verfassen des Manuskripts: AB, Kritische Überarbeitung des Manuskripts hinsichtlich wichtiger intellektueller Inhalte: Alle Autoren. Analyse des maschinellen Lernens: AB, erhaltene Finanzierung: GRS, administrative, betriebliche, technische oder materielle Unterstützung: SL, Aufsicht: GRS Zusätzliche Anerkennung: Wir haben unsere Wertschätzung allen Assistenzärzten der Neurochirurgie und der Abteilung für Neurochirurgie, Abteilung für klinische Neurowissenschaften, Foothills Medical, ausgesprochen Zentrum, Calgary AB, Kanada.

Korrespondenz mit Garnette R. Sutherland.

Alle Autoren sind mit dem Spin-off-Unternehmen der University of Calgary namens OrbSurgical Ltd. mit Sitz in Calgary AB, Kanada, verbunden. Das Unternehmen wurde gegründet, um neues geistiges Eigentum (IP) aus dem Projekt neuroArm-University of Calgary zu hosten, zu dem auch IP im Zusammenhang mit dem SmartForceps-System gehört.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter der Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Baghdadi, A., Lama, S., Singh, R. et al. Werkzeug-Gewebekraftsegmentierung und Mustererkennung zur Bewertung der neurochirurgischen Leistung. Sci Rep 13, 9591 (2023). https://doi.org/10.1038/s41598-023-36702-3

Zitat herunterladen

Eingegangen: 16. November 2022

Angenommen: 08. Juni 2023

Veröffentlicht: 13. Juni 2023

DOI: https://doi.org/10.1038/s41598-023-36702-3

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.