17 W (pat) 3/22

ECLI:DE:BPatG:2023:230523B17Wpat3.22.0 BUNDESPATENTGERICHT 17 W (pat) 3/22 _______________________ (Aktenzeichen) Verkündet am 23. Mai 2023 … B E S C H L U S S In der Beschwerdesache betreffend die Patentanmeldung 10 2020 114 297.8 … hat der 17. Senat (Technischer Beschwerdesenat) des Bundespatentgerichts auf die mündliche Verhandlung vom 23. Mai 2023 unter Mitwirkung des Vorsitzenden Richters Dipl.-Phys. Dr. Morawek, des Richters Dr. von Hartz, des Richters Dipl.- Phys. Dr. Städele und des Richters Dr.-Ing. Harth - 2 - beschlossen: 1. Der Beschluss der Prüfungsstelle für Klasse G06T des Deutschen Patent- und Markenamts vom 10. Februar 2022 wird aufgehoben. 2. Es wird ein Patent erteilt mit der Bezeichnung „Verfahren und Datenbrille zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts“, dem Anmeldetag 28. Mai 2020 auf der Grundlage folgender Unterlagen: Patentansprüche 1 bis 10 gemäß neuem Hauptantrag, eingegangen beim Bundespatentgericht am 5. Mai 2023; Beschreibungsseiten 1 bis 14, eingegangen im Deutschen Patent- und Markenamt am 30. April 2021; 2 Blatt Zeichnungen mit Figuren 1 bis 2, eingegangen im Deutschen Patent- und Markenamt am 28. Mai 2020. 3. Im Übrigen wird die Beschwerde zurückgewiesen. - 3 - G r ü n d e I. Die vorliegende Patentanmeldung wurde am 28. Mai 2020 beim Deutschen Patent- und Markenamt eingereicht. Sie trägt die Bezeichnung „Verfahren und Datenbrille zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts“. Die Anmeldung wurde durch Beschluss der Prüfungsstelle für Klasse G06T des Deutschen Patent- und Markenamts in der Anhörung vom 10. Februar 2022 mit der Begründung zurückgewiesen, die Gegenstände der jeweiligen Hauptansprüche des (damaligen) Hauptantrags und der (damaligen) Hilfsanträge 1 und 2 würden nicht als auf einer erfinderischen Tätigkeit beruhend gelten. Gegen diesen Beschluss richtet sich die Beschwerde der Anmelderin. Die Anmelderin beantragt, 1. den Beschluss der Prüfungsstelle für Klasse G06T des Deutschen Patent- und Markenamts vom 10. Februar 2022 aufzuheben. 2. ein Patent zu erteilen mit der Bezeichnung „Verfahren und Datenbrille zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts“, dem Anmeldetag 28. Mai 2020 auf der Grundlage folgender Unterlagen: Patentansprüche 1 bis 10 gemäß neuem Hauptantrag, eingegangen beim Bundespatentgericht am 5. Mai 2023; Beschreibungsseiten 1 bis 14, - 4 - eingegangen im Deutschen Patent- und Markenamt am 30. April 2021; 2 Blatt Zeichnungen mit Figuren 1 bis 2, eingegangen im Deutschen Patent- und Markenamt am 28. Mai 2020; 3. die Rückzahlung der Beschwerdegebühr anzuordnen. Der geltende Patentanspruch 1 lautet - nach Unterteilung der Merkmale c), d) und e) in die Merkmalsgruppen c1) / c2), d1) / d2) bzw. e1) / e2) / e3) / e4) sowie nach Vergabe der weiteren Merkmalsbezeichnungen d3) und e5) - wie folgt: 1. Verfahren zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich (12) eines Objekts (14) durch eine Datenbrille (10), mit den Schritten: a) Aufnehmen (S10) eines digitalen Bildes des Objekts (14), das zumindest den vorgegebenen Objektbereich (12) aufweist, durch eine Bildaufnahmeeinrichtung (16); b) Aufnehmen (S12) eines Wärmebildes des Objekts (14) durch eine Wärmebildaufnahmeeinrichtung (18), wobei das Wärmebild zumindest die thermischen Daten des vorgegebenen Objektbereichs (12) umfasst; c1) Überlagern (S14) des digitalen Bildes der Bildaufnahmeeinrichtung (16) mit dem Wärmebild der Wärmebildaufnahmeeinrichtung (18), c2) wobei das Objekt (14) im digitalen Bild und im Wärmebild übereinandergelegt wird; d1) Überlagern (S16) des Objekts (14) in dem digitalen Bild mit einem digitalen Objektmodell des Objekts, - 5 - d2) wobei das digitale Objektmodell den vorgegebenen Objektbereich (12) in digitaler Form aufweist; e1) Segmentieren (S18) des Wärmebildes mittels des überlagerten digitalen Objektmodells, e2) wobei die thermischen Daten des Objektbereichs (12) ausgewählt werden und e3) die thermischen Daten des Wärmebilds, die nicht in dem durch das digitale Objektmodell vorgegebenen Objektbereich (12) angeordnet sind, ausgeblendet werden, e4) wobei die ausgewählten thermischen Daten des Objektbereichs (12) einer Anzeigeeinrichtung (22) der Datenbrille als virtuelle Projektion bereitgestellt werden; f) Anzeigen (S20) der virtuellen Projektion der thermischen Daten auf dem segmentierten, vorgegebenen Objektbereich durch die Anzeigeeinrichtung (22) der Datenbrille (10); d3) wobei das digitale Objektmodell mehrere Objektbereiche aufweist, e5) wobei durch die virtuelle Projektion selektiv nur ein einzelner Objektbereich (12) visualisiert wird. Die geltenden Patentansprüche 2 bis 10 lauten: „2. Verfahren nach Anspruch 1, wobei die Bildaufnahmeeinrichtung (16) und die Wärmebildaufnahmeeinrichtung (18) räumlich aufeinander kalibriert werden und das Überlagern in Schritt c) in Abhängigkeit der Kalibrierung durchgeführt wird. - 6 - 3. Verfahren nach Anspruch 2, wobei die Bildaufnahmeeinrichtung (16) und die Wärmebildaufnahmeeinrichtung (18) zur Kalibrierung an vorgegebenen Positionen in der Datenbrille (10) angeordnet werden und wobei die Schritte c) bis e) durch eine Recheneinrichtung (20) in der Datenbrille durchgeführt werden. 4. Verfahren nach einem der vorhergehenden Ansprüche, wobei für das digitale Objektmodell ein dreidimensionales Konstruktionsmodell des Objekts, insbesondere ein CAD-Modell, verwendet wird. 5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt mittels eines Bildanalysealgorithmus aus dem digitalen Bild automatisch erkannt wird und basierend auf der Erkennung das digitale Objektmodell zur Überlagerung bereitgestellt wird. 6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Überlagern in Schritt d) mittels eines Modellverfolgungsalgorithmus durchgeführt wird. 7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Segmentieren in Schritt e) mittels vorgegebener Objektgrenzen des digitalen Objektmodells, insbesondere mittels der Objektgrenzen des Objektbereichs, durchgeführt wird. 8. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt f) die thermischen Daten auf der Oberfläche des Objekts mittels einer erweiterten Realität oder einer virtuellen Realität angezeigt werden, insbesondere in Echtzeit. - 7 - 9. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt f) über dem Objekt ferner das überlagerte digitale Objektmodell angezeigt wird. 10. Datenbrille (10) zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich (12) eines Objekts (14), mit einer Bildaufnahmeeinrichtung (16), einer Wärmebildaufnahmeeinrichtung (18), einer Recheneinrichtung (20) und einer Anzeigeeinrichtung (22), wobei die Datenbrille (10) dazu ausgebildet ist, das Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.“ Zu den weiteren Einzelheiten wird auf die Akte verwiesen. II. Die zulässige Beschwerde hat insoweit Erfolg, als sie zur Aufhebung des angefochtenen Beschlusses und zur Patenterteilung gemäß dem neuen Hauptantrag führt. Im Übrigen war die Beschwerde bezüglich des Antrags auf Rückzahlung der Beschwerdegebühr zurückzuweisen. 1. Die vorliegende Patentanmeldung betrifft ein Verfahren sowie eine Datenbrille zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts (Offenlegungsschrift, Absatz [0001]). In der Beschreibungseinleitung der Anmeldung ist ausgeführt, dass im Bereich der Produktion und Wartung von verschiedensten Industriezweigen Mitarbeiter mit Objekten zu tun hätten, die eine hohe Oberflächentemperatur aufweisen können. Oft sei die Temperatur weder temporär noch räumlich konstant über das Objekt verteilt, sondern weise Temperaturgradienten auf der Oberfläche auf. Da das infrarote Spektrum für den Menschen optisch nicht wahrnehmbar sei, entstünden - 8 - daraus Nachteile in der Handhabung bis hin zu Gefahrenpotentialen (Offenlegungsschrift, Absatz [0002]). Nachteilig bei bekannten Verfahren zur Darstellung von thermischen Informationen sei, dass nur das Wärmebild des gesamten Objekts angezeigt werden könne und thermische Daten einzelner Objektbereiche, wie zum Beispiel einzelner Bauteilkomponenten, nicht separat dargestellt werden könnten (Offenlegungsschrift, Absatz [0006] i. V. m. den Absätzen [0003] bis [0005]). 2. Der Anmeldung soll die Aufgabe zugrundeliegen, thermische Daten für einen vorgegebenen Objektbereich eines Objekts verbessert darstellen zu können (Offenlegungsschrift, Absatz [0007]). 3. Als Fachmann ist im vorliegenden Fall ein Ingenieur der Fachrichtung Elektrotechnik anzusehen, der mehrjährige Erfahrung auf dem Gebiet der digitalen Bilddatenerfassung und -verarbeitung und gute Kenntnisse in der Entwicklung von „Virtual Reality“- und „Augmented Reality“-Anwendungen besitzt. 4. Zur Lösung der oben genannten Aufgabe schlägt die Anmeldung ein Verfahren und eine Datenbrille zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts gemäß dem geltenden Patentanspruch 1 bzw. dem geltenden Patentanspruch 10 vor. 4.1 Bei dem erfindungsgemäßen Verfahren werden ein digitales Bild und ein Wärmebild des Objekts durch eine Bild- und eine Wärmebildaufnahmeeinrichtung aufgenommen, wobei diese Bilder zumindest den vorgegebenen Objektbereich bzw. zumindest die thermischen Daten dieses Bereichs aufweisen bzw. umfassen (Merkmale a) und b)). Ein solcher Objektbereich kann laut Beschreibung z.B. eine Fläche oder eine Bauteilkomponente innerhalb eines Bauteils oder einer Maschine sein (vgl. Offenlegungsschrift, Absätze [0006], [0009]); er wird z.B. dadurch - 9 - vorgegeben, dass ihn ein Nutzer mittels einer Gestensteuerung in einem digitalen Objektmodell „in virtueller Form“ auswählt (Offenlegungsschrift, Absatz [0014]). Anschließend wird das digitale Bild der Bildaufnahmeeinrichtung mit dem Wärmebild der Wärmebildaufnahmeeinrichtung überlagert (Merkmal c1)), wobei das Objekt im digitalen Bild und im Wärmebild übereinandergelegt wird (Merkmal c2)). Letzteres bedeutet aus Sicht des Fachmanns, dass aus den beiden Bildern ein weiteres Bild erzeugt wird, welches zumindest einen Objektbereich enthält, dessen Pixelwerte auf Objektpixelwerten beider Bilder basieren. Die Bilder können koregistriert sein, um eine genauere Überlagerung zu gewährleisten (vgl. Offenlegungsschrift, Absatz [0011]). Des Weiteren wird das Objekt in dem digitalen Bild mit einem digitalen Objektmodell des Objekts überlagert (Merkmal d1)). Das digitale Objektmodell weist mehrere Objektbereiche auf, insbesondere auch den vorgegebenen Objektbereich in digitaler Form (Merkmale d2, d3)). Ein Überlagern von Objekt und Objektmodell kann dann verwirklicht sein, wenn das Objektmodell im digitalen Bild so über das Objekt gelegt wird, dass das Objektmodell von der Größe und Ausrichtung das Objekt in dem digitalen Bild vollständig überlagert oder ersetzt (Offenlegungsschrift, Absatz [0011]). Für den Fachmann bedeutet dies, dass durch die Überlagerung ein zweidimensionaler Bereich im digitalen Bild entstanden ist, der das Objektmodell repräsentiert und dessen Pixelwerte Kombinationen der Pixelwerte des digitalen Bilds und des überlagerten Objektmodells sind. Ferner wird das Wärmebild mittels des überlagerten digitalen Objektmodells segmentiert (Merkmal e1)). Die Merkmale d1) und e1) implizieren, dass die Segmentierung - d.h. das Bestimmen einer Aufteilung des Wärmebilds in mehrere zusammenhängende Bildbereiche - stattfindet, nachdem das Objekt im digitalen Bild mit dem Objektmodell überlagert worden ist (vgl. Offenlegungsschrift, Absatz [0012] - „Anschließend kann […] das Wärmebild, welches mit dem digitalen Bild - 10 - überlagert ist, mittels des überlagerten digitalen Objektmodells segmentiert werden“). Bei der Segmentierung werden die thermischen Daten des Objektbereichs ausgewählt (Merkmal e2)) und die thermischen Daten des Wärmebilds ausgeblendet, die nicht in dem durch das digitale Objektmodell vorgegebenen Objektbereich angeordnet sind (Merkmal e3)). Gemäß Merkmal e4) werden die ausgewählten thermischen Daten des Objektbereichs einer Anzeigeeinrichtung der Datenbrille als „virtuelle Projektion“ bereitgestellt. Unter einer derartigen Projektion versteht die Anmeldung eine Grafik, die in der Anzeigeeinrichtung der Datenbrille derart angezeigt wird, dass sie für einen Benutzer über dem Objektbereich erscheint, oder auch eine Projektion der thermischen Daten mittels „Computer Vision Techniken“ auf die Oberfläche des digitalen Objektmodells, das mit dem Objekt überlagert ist (Offenlegungsschrift, Absatz [0013]). Durch die virtuelle Projektion soll selektiv nur ein einzelner Objektbereich visualisiert werden (Merkmal e5)). Das bedeutet vor dem Hintergrund des Absatzes [0015] der Offenlegungsschrift, dass der Benutzer der anspruchsgemäßen Datenbrille einen Objektbereich des digitalen Objektmodells auswählen kann, der mit Hilfe der virtuellen Projektion dargestellt wird. Dadurch lässt sich vermeiden, größere Teile des Sichtfelds mit Wärmebilddaten des Objekts zu überlagern (s. auch Offenlegungsschrift, Absatz [0042]). Schließlich wird die virtuelle Projektion der thermischen Daten auf dem segmentierten, vorgegebenen Objektbereich durch die Anzeigeeinrichtung der Datenbrille angezeigt (Merkmal f)). 4.2 Die Datenbrille des auf den Patentanspruch 1 rückbezogenen Patentanspruchs 10 soll dazu ausgebildet sein, ein Verfahren nach einem der Patentansprüche 1 bis 9 auszuführen. Dementsprechend weist die Datenbrille eine - 11 - Bildaufnahmeeinrichtung, eine Wärmebildaufnahmeeinrichtung, eine Rechen- einrichtung und eine Anzeigeeinrichtung auf. 5. Das geltende Patentbegehren ist zulässig. Die Änderungen, die in den in der Anmeldung enthaltenen Angaben vorgenommen worden sind, erweitern den Gegenstand der Anmeldung nicht (§ 38 PatG). So sind die Merkmale a) bis e1) und f) bereits in dem ursprünglichen Patentanspruch 1 enthalten. Aus diesem Patentanspruch ergeben sich in Zusammenschau mit den Absätzen [0011], [0012] und [0015] der Offenlegungsschrift auch die verbleibenden Merkmale d3), e2), e3), e4) und e5). Die geltenden Patentansprüche 2 bis 10 sind mit den ursprünglich eingereichten Patentansprüchen 2 bis 10 identisch. Auch die an den ursprünglich eingereichten Beschreibungsseiten vorgenommenen Änderungen sind zulässig. Die geltenden Figurenseiten mit den Figuren 1 und 2 entsprechen den ursprünglichen Figurenseiten 1 und 2. 6. Die Lehre der Patentansprüche 1 und 10 ist in der Anmeldung so deutlich und vollständig offenbart, dass ein Fachmann sie ausführen kann (§ 34 Abs. 4 PatG). 7. Die Gegenstände der Patentansprüche 1 und 10 sind jeweils neu und beruhen zudem gegenüber dem Stand der Technik auf einer erfinderischen Tätigkeit (§§ 3, 4 PatG). 7.1 Zum Stand der Technik wurden im Prüfungsverfahren folgende Druckschriften ermittelt: - 12 - D1 CN110 580 672 A, D1a Maschinenübersetzung der Beschreibung und der Ansprüche der D1 aus der chinesischen in die englische Sprache, D2 LOWE, David G.: Robust model-based motion tracking through the integration of search and estimation. International Journal of Computer Vision, 1992, 8. Jg., Nr. 2, S. 113 bis 122, D3 US 2020 / 0 143 551 A1. Vom Senat wurden ferner folgende Druckschriften benannt: D4 SOUZA, E. A. [et al.]: Evaluating the CapCam: a device for thermal inspection of electrical equipment. Workshop de Realidade Virtual e Aumentada, Sao Paulo, Brazil, 2010, D5 US 2018 / 0 302 564 A1, D6 SELS, S.: A CAD matching method for 3D thermography of complex objects. Infrared Physics and Technology 99, 2019, S. 152 bis 157, D7 LI, W. [et al.]: SHREC 2019 - Monocular Image Based 3D Model Retrieval. Eurographics Workshop on 3D Object Retrieval, 2019, S. 103 bis 110. 7.2 Der Gegenstand des geltenden Patentanspruchs 1 ist aus keiner der Druckschriften D1 bis D7 vorbekannt und somit neu (§ 3 PatG). - 13 - 7.2.1 Die nach Auffassung des Senats „nächstliegende“ Druckschrift D4 offenbart allenfalls die Anweisungen des Oberbegriffs des geltenden Patentanspruchs 1 sowie der Merkmalsgruppen a) / b) / c1) / c2) bzw. a) / d1) / d3). Gleiches gilt für die Druckschriften D1, D3 und D5. 7.2.1.1 In der Druckschrift D4 wird eine Datenbrille („CapCam“) vorgestellt, die einen Nutzer bei der Inspektion elektrischer Geräte unterstützen soll und eine Webcam sowie eine Wärmebildkamera aufweist, deren Bilder überlagert angezeigt werden (vgl. Titel, Abstract, Abschnitt 1 i. V. m. Figur 1, in der eine Platine mit Bauteilen gezeigt ist, wobei die Platine und die Bauteile als anspruchsgemäßes Objekt bzw. anspruchsgemäße Objektbereiche angesehen werden können). Dabei gibt bestenfalls die aktuelle Blickrichtung des Nutzers, von der das Sichtfeld der beiden Kameras abhängt, diejenigen Bereiche der Platine vor, denen thermische Information überlagert werden soll. In Abschnitt 2 der D4 wird ferner angesprochen, dass eine Kombination von Wärmebildern mit Bildern der realen Welt bei einer Gesichtserkennung von Vorteil sein kann. Figur 4 zeigt in diesem Zusammenhang neben einem Kamerabild und einem Wärmebild einer Person ein kombiniertes Bild („combined image“), das aus einer Überlagerung dieser beiden Bilder entstanden ist. Damit offenbart die D4 ein Verfahren nach Patentanspruch 1 mit den Merkmalen a) bis c2). Weiterhin ist in Figur 2 der D4 gezeigt, dass einem digitalen Bild ein dreidimensionales digitales Modell eines Anlassers überlagert werden kann, das sich aus mehreren unterschiedlich eingefärbten Komponenten - d.h. Objektbereichen im Sinne des geltenden Patentanspruchs 1 - zusammensetzt. Da jedoch dem Kamerabild der Figur 2 kein Wärmebild überlagert und in dem Kamerabild auch kein Anlasser zu sehen ist, geht aus Figur 2 allenfalls die Merkmalsgruppe a) / d1) / d3) hervor. - 14 - Nicht in D4 erläutert sind eine Segmentierung anhand eines 3D-Modells, das einem Kamerabild überlagert ist, sowie eine Auswahl und selektive Visualisierung von thermischen Daten eines Objektbereichs. Daher ist der aus den Merkmalen d1) bis f) bestehende Merkmalskomplex der D4 nicht zu entnehmen. 7.2.1.2 In der Druckschrift D1 wird eine „thermische“ Datenbrille für Augmented-Reality-Anwendungen („augmented reality thermal smart glasses“) beschrieben, die zwei Bildaufnahmeeinrichtungen („image acquisition component“, „thermal imaging acquisition component“) enthält, mit denen reale Bilder bzw. Wärmebilder der Umgebung aufgenommen werden (D1a, u.a. Seite 1, Zeile 10 bis 16; Seite 5, Zeile 164 bis 189 i. V. m. D1, Figur 1). Die Bilder der beiden Bildaufnahmeeinrichtungen können einander überlagert angezeigt werden, was Inspektions-, Brandschutz- und Seuchenpräventionsmaßnahmen in Warenhäusern, Wäldern und bei der Tierhaltung wirtschaftlicher machen soll; insbesondere können dabei Wärmebilddaten in einem Bereich eines realen Bildes angeordnet werden (D1a, Seite 1, Zeile 18 bis 22; Seite 2, Zeile 46 und 47; Seite 6, Zeile 222 bis 228 - „The corresponding thermal imaging is superimposed and displayed in a region of the image“). Das bedeutet allerdings noch nicht zwangsläufig, dass ein Objekt in dem realen Bild und in dem Wärmebild übereinandergelegt wird, wie es Merkmal c2) erfordert; so könnte z.B. ein Wärmebild, das die gesamte Umgebung des Nutzers zeigt, als Ganzes verkleinert in einem Randbereich des Kamerabilds dargestellt werden. Des Weiteren kann in einem Bildbereich, der ein Lebewesen zeigt, ein Körpertemperaturwert des Lebewesens angezeigt werden (D1a, Seite 2, Zeile 52 bis 57; Seite 6, Zeile 228 bis 234; Seite 6, Zeile 243 bis Seite 7, Zeile 250 i. V. m. D1, Figur 2). Der Nutzer der Datenbrille gibt dabei allerdings allenfalls durch Wahl seiner aktuellen Blickrichtung einen Bildbereich vor, der ein Lebewesen enthält. Somit geht ein Verfahren nach Patentanspruch 1 mit den Merkmalen a) bis c1) aus D1 hervor. Die übrigen Merkmale des Patentanspruchs 1 sind D1 nicht zu - 15 - entnehmen, da es dort nicht um eine Segmentierung eines Wärmebildes, eine Auswahl thermischer Daten oder um ein digitales Objektmodell geht. 7.2.1.3 Die Druckschrift D3 geht von dem Problem aus, dass die Klassifikationsgenauigkeit künstlicher neuronaler Netzwerke reduziert ist, wenn Farbbilder verarbeitet werden, die Objekte mit ähnlichem Farbeindruck an unterschiedlichen Bildpositionen zeigen. Als Abhilfe wird ein Verfahren vorgeschlagen, bei dem neben einem RGB-Bild ein Infrarotbild derselben Szene aufgenommen und mit dem RGB-Bild registriert wird (D3, Abstract, Absätze [0012], [0017], [0018], [0022]). Aus dem Infrarotbild werden Informationen über die hervorstechendsten Kanten im Infrarotbild („saliency boundaries“) ermittelt (Absätze [0012], [0022], [0028], [0032]). Anschließend werden das RGB-Bild, das registrierte Infrarotbild und die „saliency boundaries“ von einem künstlichen neuronalen Netzwerk verarbeitet, welches die Pixel der beiden Bilder als zu einem dynamischen (z.B. einem Fahrzeug) oder einem statischen Objekt (z.B. einem Gebäude) gehörend klassifiziert (Absätze [0023] bis [0028]; Figuren 3 bis 5). Dabei kann die pixelweise ermittelte Klassifikationsinformation als ein Bild angesehen werden, welches aus einer Überlagerung des mit dem Infrarotbild registrierten RGB-Bildes im Sinne der Merkmale c1) und c2) hervorgeht; somit wird in D3 insbesondere das Infrarotbild semantisch segmentiert (vgl. auch Absätze [0023], [0037], [0045]). Der D3 ist somit ein Verfahren nach Patentanspruch 1 mit den Merkmalen a) bis c2) zu entnehmen. Von einem digitalen Objektmodell, anhand dessen ein Wärmebild segmentiert und zugehörige thermische Daten ausgewählt werden, ist dort allerdings ebensowenig die Rede wie von einer selektiven Visualisierung einer virtuellen Projektion, so dass die Merkmale d1) bis f) in D3 fehlen. 7.2.1.4 Die Druckschrift D5 betrifft ein Bildaufnahmegerät 102, mit dem von Bildsensoren zweier unterschiedlicher Modalitäten stammende Bilddaten - z.B. Farbbilddaten und Wärmebilddaten - zueinander registriert werden können (vgl. Figur 1 mit Absätzen [0049] bis [0051], [0068], [0098]; s. auch Claims 1, 3 und 5). - 16 - Das Bildaufnahmegerät 102 kann ein als „video see-through display“ ausgebildetes und als „head-mounted display (HMD)“ konfiguriertes Displaymodul 2900 umfassen, welches Bildsensoren der ersten und zweiten Modalität enthält (Figur 29 i. V. m. Absatz [0118] - „image capturing device 102 can include a display module 2900, image sensors 2202, 2206 of the first imaging modality, the image sensor 2204 for the second imaging modality“; Absatz [0119] - „the display module 2900 includes […] a video see-through display. […] The display module 2900 may be configured in a head-mounted display configuration“; s. auch Figur 30 i. V. m. Absatz [0132] sowie Claims 12 und 13). Ferner können die Farb- und Wärmebilddaten - insbesondere für Inspektionszwecke - registriert und überlagert sowie thermische Bilder dreidimensional visualisiert werden (vgl. u.a. Absätze [0051], [0052], [0121]). Damit zeigt auch die D5 ein Verfahren nach Patentanspruch 1 mit den Merkmalen a) bis c2). Die restlichen Merkmale des Patentanspruchs 1 sind der D5 nicht zu entnehmen, da dort weder ein digitales Objektmodell noch eine Auswahl und selektive Visualisierung von thermischen Daten eines Objektbereichs eines Objektmodells angesprochen wird. Zwar ist Absatz [0135] noch zu entnehmen, dass Objekte in den Wärmebildern erkannt werden können; daraus ergibt sich aber noch keine Segmentierung der Wärmebilder im Sinne von Patentanspruch 1. 7.2.2 Die Druckschrift D6 zeigt als einzige der im Verfahren befindlichen Druckschriften eine Segmentierung eines Wärmebilds mittels eines digitalen Objektmodells (vgl. Merkmal e1)). Aus D6 gehen allerdings nur die Merkmale b), d2), d3), e2) und e5) sowie jeweils ein Teilmerkmal der Merkmale e1), e4) und f) hervor. In der Druckschrift D6 wird ein Verfahren zur Inspektion von Wärmebilddaten bestimmter Komponenten im Hinblick auf eine verbesserte Erkennung der Größe und räumlichen Lage von Defekten vorgestellt (vgl. Titel; Abstract; Abschnitt I., - 17 - dritter Absatz; Tabelle I), bei dem u.a. Wärmebilddaten direkt auf dreidimensionale CAD-Modelle komplexer Objekte projiziert werden (vgl. Titel, Abstract, Figuren 1 (a) bis (e), Abschnitt 5, Seite 154, rechte Spalte unten - „the methodology […] always mapped the infrared image on the CAD model […]“ sowie Tabelle 1 auf Seite 155, insbesondere zweite Spalte von links und rechte Spalte). Im Rahmen des Verfahrens wird eine virtuelle Kamera so lange (iterativ) durch eine Simulationsumgebung bewegt, bis die Lage eines dreidimensionalen CAD-Modells eines Objekts in einem gerenderten virtuellen Bild dieser Kamera mit der Lage des Objekts im Wärmebild übereinstimmt. In jeder Iteration werden dazu die dreidimensionalen Konturen des CAD-Modells mittels der sog. „PwP3D“-Methode auf eine zweidimensionale Kontur C im Wärmebild projiziert, die nach Abschluss des Verfahrens die aus dem Wärmebild ersichtliche Objektkontur lagerichtig wiedergibt und eine Segmentierung des Wärmebilds in einen Vordergrundbereich Ωf (der dem Objekt entspricht) und einen Hintergrundbereich Ωb definiert (vgl. Abschnitt 2.1 mit Figuren 1 (a) bis (e); insbesondere Text nach Gleichung (3) - „[…] to iteratively align the 3D model in the camera image […] The result of the complete image alignment is visible in Fig. 1d and e“ sowie Figur 1 (b) mit Bildunterschrift „Contour image rendered with the virtual scene“ und Text vor Gleichung (1) - „C (Fig. 1b) is the projected contour of the 3D model (Fig. 1c) in the camera image“). Somit zeigt die Druckschrift D6 das Merkmal b), da die Wärmebilddaten von einer Wärmebildkamera aufgenommen werden (vgl. Abschnitt 1, dritter Absatz). Bei der Projektion der Wärmebilddaten auf ein CAD-Modell (Figur 1 (e); Tabelle 1, zweite Spalte) werden die über dem CAD-Modell liegenden Wärmebilddaten ausgewählt (Merkmal e2)). Der Fachmann liest mit, dass die projizierten Daten einer Anzeigeeinrichtung bereitgestellt und mit Hilfe dieser Einrichtung (auf dem segmentierten CAD-Modell) angezeigt werden (Figur 1 (e); Teilmerkmal von Merkmal e4) „wobei die ausgewählten thermischen Daten des Objektbereichs einer Anzeigeeinrichtung der Datenbrille als virtuelle Projektion bereitgestellt werden“ - 18 - sowie Teilmerkmal von Merkmal f) „Anzeigen der virtuellen Projektion der thermischen Daten auf dem segmentierten, vorgegebenen Objektbereich durch die Anzeigeeinrichtung der Datenbrille“). Zudem weist das CAD-Modell mit dem Teilbereich, der der in Figur 1 (c) gezeigten virtuellen Kamera zugewandt ist und durch die relative Lage von CAD-Modell und virtueller Kamera vorgegeben wird, einen Objektbereich auf, auf den die Wärmebilddaten projiziert werden (Merkmal d2)); daneben umfasst es mit dem von der virtuellen Kamera abgewandten Rückseitenbereich und den ggf. schwarz dargestellten Bereichen auf der Vorderseite, für die keine Wärmebildinformationen vorliegen (vgl. Figur 1 (e) mit zugehöriger Bildunterschrift), weitere Objektbereiche (Merkmal d3)). Durch die virtuelle Projektion wird nur derjenige Objektbereich visualisiert, der der virtuellen Kamera zugewandt ist (Merkmal e5)). Da die Druckschrift D6 ausschließlich die Verarbeitung eines einzelnen Wärmebildes beschreibt, ist dort die aus den Merkmalen a), c1), c2), d1) und d2) bestehende Merkmalsgruppe nicht gezeigt. Zudem ist das im Rahmen der PwP3D- Methode zur Segmentierung verwendete Objektmodell zuvor keinem digitalen Bild überlagert worden. Damit fehlt auch Merkmal e1) in D6 - lediglich das Teilmerkmal „Segmentieren des Wärmebildes mittels eines des überlagerten digitalen Objektmodells“ von Merkmal e1) geht aus D6 hervor. Weiterhin sind in Figur 1 (e) zwar diejenigen thermischen Daten des Wärmebilds nicht dargestellt, die nicht in dem durch das CAD-Modell vorgegebenen Objektbereich angeordnet sind. Da der Druckschrift D6 jedoch nicht eindeutig zu entnehmen ist, ob diese Daten zur Erstellung der Figur 1 (e) ausgeblendet oder gar nicht erst herangezogen worden sind, ist auch Merkmal e3) nicht gezeigt. 7.2.3 Die Druckschriften D2 und D7 liegen weiter ab. - 19 - 7.2.3.1 Die Druckschrift D2 beschreibt ein System zur Verfolgung der Bewegung dreidimensionaler Objekte in einem Bild einer CCD-Kamera mittels eines Objektmodells (vgl. Titel - „Model-based Motion Tracking“; Abstract - „A computer vision system has been developed for real-time motion tracking of 3-D objects“; Abschnitt 7, zweiter Absatz, erster Satz sowie dritter Absatz, zweiter Satz). In den Abschnitten 3 bis 6 wird ein iteratives Verfahren vorgestellt, bei dem die Projektion eines parametrisierten 3D-Modells einer Ablagebox („file box“) an Liniensegmente angepasst wird, die der Ablagebox entsprechen und aus dem Kamerabild extrahiert worden sind. Nach Beendigung des iterativen Verfahrens wird das 3D-Modell, dessen Seitenflächen als anspruchsgemäße Objektbereiche angesehen werden können, dem Kamerabild überlagert dargestellt (Figur 7). Somit gehen die Merkmale a), d1), d2) und d3) aus D2 hervor. Um die Aufnahme oder Verarbeitung von Wärmebildern oder ein Segmentierungsverfahren geht es in D2 allerdings nicht, so dass die übrigen Merkmale des geltenden Patentanspruchs 1 in D2 fehlen. 7.2.3.2 Die Druckschrift D7 ist ein Übersichtsartikel, der Verfahren zum Abruf von 3D-Modellen auf Basis einzelner Bilder beschreibt und lediglich im Hinblick auf den geltenden Unteranspruch 5 ins Verfahren eingeführt worden ist. 7.3 Der Gegenstand des geltenden Patentanspruchs 1 beruht mit Rücksicht auf den durch die Druckschriften D1 bis D7 repräsentierten Stand der Technik auf einer erfinderischen Tätigkeit (§ 4 PatG). Diese Druckschriften geben dem Fachmann weder für sich genommen noch in Kombination eine Anregung, ein Wärmebild mittels eines digitalen Objektmodells zu segmentieren, das einen vorgegebenen Objektbereich aufweist und zuvor dem zugehörigen Objekt in dem digitalen Bild überlagert worden ist (vgl. Merkmalsgruppe d1) / d2) / e1)). - 20 - 7.3.1 Die jeweiligen Lehren der Druckschriften D1, D4 und D5 legen dem Fachmann ein Verfahren, bei dessen Ausführung die Merkmalsgruppe d1) / d2) / e1) verwirklicht wird, nicht nahe. Dies gilt gleichermaßen für die jeweiligen Lehren der Druckschriften D2, D3 und D6. 7.3.1.1 Ausgehend von der Druckschrift D1, D4 oder D5 hat der Fachmann bereits keine Veranlassung, ein Verfahren zu realisieren, bei dem ein vom Nutzer vorgegebener Objektbereich in einem Bild - insbesondere einem Wärmebild - segmentiert wird (vgl. Merkmal e1)), oder sich nach einem solchen Verfahren im Stand der Technik umzusehen. a) Insoweit die Lehre der D1 eine Verarbeitung eines Wärmebilds betrifft, erschöpft sie sich darin, ein solches Bild aufzunehmen, einem digitalen Bild, das kein Wärmebild ist, irgendwie zu überlagern und beide Bilder anschließend darzustellen. In D1 gibt der Nutzer der Datenbrille einen Objektbereich allenfalls dadurch implizit vor, dass er seinen Blick auf ein bestimmtes Objekt richtet; dabei werden im Allgemeinen auch andere Bildbereiche der beiden Bilder mit vorgegeben. Eine konkrete Veranlassung, bestimmte Pixelbereiche der Bilder von einer Weiterverarbeitung auszunehmen oder diese Bilder gar zu segmentieren, besteht für den Fachmann ausgehend von D1 nicht. b) Bei Durchsicht der D4 erkennt der Fachmann sofort, dass sowohl die Qualität des in Figur 1 gezeigten Wärmebilds als auch die Genauigkeit der Überlagerung des Wärmebilds mit dem Bild der Webcam nicht allzu hoch ist. Die D4 führt dies unmittelbar auf die unzureichende Hardwareausstattung der „CapCam“ zurück (vgl. Abschnitt 3.2, vorletzter und letzter Absatz - „the cameras […] do not have the same technical specifications (e.g., lenses, focal length), which means they were not and most likely cannot be suitably aligned […] The thermal camera used […] has low resolution, reach and accuracy“). Zur Verbesserung des Bildeindrucks würde der Fachmann daher Kameras und weitere Hardware einsetzen, die Bilder mit höherer Auflösung liefern und eine genauere Überlagerung der Bilder gestatten (vgl. - 21 - Abschnitt 4, „Considerations and Future Works“ – „[…] technical difficulties - the thermal camera - would need to be researched again“; ein Beispiel für eine Überlagerung besser aufgelöster Bilder zeigt ihm die Figur 4 der D4). Hingegen wird er eine Anwendung von Methoden der Bildverarbeitung auf das Wärmebild (insbesondere eine Segmentierung) nicht in Betracht ziehen, da sich dadurch die geringe Bildqualität des Wärmebilds nicht nennenswert verbessern lässt. Eine Anregung, das Bild der Webcam zu segmentieren, liefert D4 ebenfalls nicht. c) Gemäß D5 werden Wärmebilder jeweils nur als Ganzes verarbeitet, mit anderen Bildern überlagert und angezeigt. Auch die D5 enthält keine Angaben, die es nahelegen, bestimmte vorgegebene Pixelbereiche eines Wärmebildes von einer Weiterverarbeitung auszunehmen. Dies gilt insbesondere für Objektbereiche, die der Nutzer durch die Wahl der Blickrichtung vorgibt. 7.3.1.2 Die Druckschrift D2 offenbart bereits kein Verfahren, bei dem ein Bild segmentiert wird, sondern lediglich ein modellbasiertes Objektverfolgungsverfahren, bei dem ein parametrisiertes 3D-Modell in ein Kamerabild projiziert wird. Ferner zeigt die D2 nicht, dass im Rahmen der Projektion dieses Modells eine Unterteilung des Kamerabilds in mehrere zusammenhängende Bildbereiche - d.h. eine anspruchsgemäße Segmentierung - definiert wird, und legt dies auch nicht nahe. Zwar wird in dem in Abschnitt 8 der D2 dargestellten Ausblick die Möglichkeit angesprochen, das Verfahren zur Objekterkennung einzusetzen. Jedoch führt der übrige zitierte Stand der Technik - insbesondere die Druckschriften D1, D4 und D5 - an dieser Stelle nicht weiter, denn dort ist nicht beschrieben, wie eine solche Objekterkennung auf Basis eines parametrisierten Modells konkret durchzuführen ist. 7.3.1.3 Die Druckschrift D3 beschreibt ein in sich abgeschlossenes Verfahren zur semantischen Segmentierung eines Wärmebildes. Es besteht daher bereits kein - 22 - Anlass, eine solche Segmentierung mittels eines digitalen Objektmodells zu wiederholen. 7.3.1.4 Die Druckschrift D6 beschreibt zwar mit der PwP3D-Methode ein Segmentierungsverfahren, bei dem Wärmebilder mittels eines CAD-Modells in einen Vorder- und einen Hintergrundbereich segmentiert werden. Jedoch stellt die D6 ausschließlich auf eine verbesserte dreidimensionale Darstellung von Wärmebildern ab (vgl. Titel - „3D thermography of complex objects“; Abstract; Abschnitt 1., dritter Absatz; Figur 1 (a), (b); Tabelle 1) und spricht eine verbesserte 3D-Darstellung von anderen Bildern an keiner Stelle an. Dass die PwP3D-Methode aus fachmännischer Sicht grundsätzlich auch auf solche anderen Bilder angewendet werden kann, legt noch nicht nahe, weshalb der Fachmann ausgehend von D6 ein CAD-Modell zunächst einem anderen Bild überlagern sollte, bevor er das Wärmebild mittels eines CAD-Modells segmentiert. 7.3.2 Die Anweisungen der Merkmalsgruppe d1) / d2) / e1) ergeben sich auch nicht in naheliegender Weise aus Kombinationen der im Verfahren befindlichen Druckschriften. 7.3.2.1 Dies gilt insbesondere, wenn ausgehend von der Druckschrift D6 eine der Druckschriften D1, D4 oder D5 herangezogen wird. Denn selbst wenn der Fachmann in diesem Fall eines der in den Druckschriften D1, D4 und D5 angesprochenen Wärmebilder gemäß der in D6 beschriebenen PwP3D- Methode segmentiert (so dass sich Merkmal e1) ergibt), wird dabei die als überlagertes digitales Objektmodell anzusehende Kontur C nur in dem Wärmebild überlagert, jedoch nicht in einem digitalen Bild, das nicht das Wärmebild ist. Damit liegen die Merkmale d1) und e1) aber nicht gleichzeitig vor. Zudem liefert - wie oben in Abschnitt II.7.3.1 ausgeführt - keine der Druckschriften D1, D4, D5 und D6 einen Anlass, ein digitales Bild, das kein Wärmebild ist, mittels - 23 - der PwP3D-Methode - und damit mittels eines digitalen Objektmodells - zu segmentieren und dazu das Objektmodell dem digitalen Bild zu überlagern, wie es Merkmal d1) erfordert. Selbst wenn der Fachmann ausgehend von D6 eine solche Überlagerung des digitalen Bilds vornehmen würde, hätte er keine Veranlassung, zusätzlich auch noch ein Wärmebild mit Hilfe des Objektmodells zu segmentieren und damit das Merkmal e1) zu realisieren. Auch in diesem Fall gelangt der Fachmann also nicht zu einem Verfahren, bei dessen Ausführung die Merkmale d1) und e1) gleichzeitig verwirklicht werden. 7.3.2.2 Andere Kombinationen der Druckschriften D1 bis D7, die dem Fachmann nahelegen könnten, die Anweisungen der Merkmalsgruppe d1) / d2) / e1) umzusetzen, sind nicht ersichtlich (vgl. hierzu auch Abschnitt II.7.2.1). 7.4 Somit ist nicht erkennbar, wie der Fachmann in Kenntnis lediglich des aus den ermittelten Druckschriften bekannten Standes der Technik zur Lehre des Patentanspruchs 1 hätte gelangen können. 8. Nach allem ist daher anzuerkennen, dass der Gegenstand des Patentanspruchs 1 nach dem neuen Hauptantrag patentfähig ist. Dies gilt gleichermaßen für den Gegenstand des Patentanspruchs 10 nach dem neuen Hauptantrag. Gegenstand dieses Anspruchs ist eine Datenbrille, die insbesondere dazu ausgebildet sein soll, das Verfahren nach dem Patentanspruch 1 - und daher insbesondere auch die Maßnahmen der Merkmalsgruppe d1) / d2) / e1) - durchzuführen. Diese Maßnahmen gehen, wie oben ausgeführt, weder aus dem Stand der Technik hervor noch sind sie durch diesen nahegelegt. Die abhängigen Patentansprüche 2 bis 9 werden durch Patentanspruch 1 getragen. Auch die übrigen Voraussetzungen für eine Patenterteilung sind erfüllt. - 24 - 9. Der Antrag der Anmelderin auf Rückzahlung der Beschwerdegebühr hat hingegen keinen Erfolg. 9.1 Für die Entscheidung nach § 80 Abs. 3 PatG, ob die Beschwerdegebühr zurückzuzahlen ist, sind Billigkeitsgründe maßgebend. Im Rahmen der Billigkeitsprüfung sind alle Umstände des Einzelfalles zu berücksichtigen (vgl. BPatG 8 W (pat) 18/14; 17 W (pat) 18/01; 21 W (pat) 14/05). Es müssen Umstände vorliegen, die es unbillig erscheinen lassen, die Beschwerdegebühr einzubehalten, weil der Beschwerdeführer durch eine gesetzeswidrige oder unangemessene Sachbehandlung oder durch einen offensichtlichen Fehler des Patentamts dazu veranlasst worden ist, Beschwerde einzulegen (BPatG 23 W (pat) 39/12; 10 W (pat) 32/12). Die Rückzahlung der Gebühr ist aber nicht schon deswegen geboten, weil das Bundespatentgericht bei der Beurteilung der Sach- und Rechtslage, die die Prüfungsstelle im angefochtenen Beschluss in sich schlüssig und nachprüfbar gewürdigt hat, zu einem anderen Ergebnis gelangt (BPatGE 19, 129). Ferner muss der sachliche Mangel oder der Verfahrensfehler ursächlich dafür sein, dass die Beschwerde eingelegt wird (vgl. Busse/Keukenschrijver, Patentgesetz; 9. Auflage 2020, § 80 Rdnr. 65). 9.2 Unter Anwendung dieser Grundsätze entspricht es nicht der Billigkeit, anzuordnen, dass der Beschwerdeführerin die Beschwerdegebühr zurückgezahlt wird. Die Beschwerdeführerin ist der Auffassung, eine Rückerstattung würde deshalb der Billigkeit entsprechen, weil der Senat im Gegensatz zur Prüfungsstelle die Druckschriften D1 bis D3 nicht weiter thematisiert, sondern auf die Druckschriften D4 bis D7 abgestellt habe. Vor dem Hintergrund des Untersuchungsgrundsatzes (§ 87 Abs. 1 Satz 1 PatG) und der selbständigen Prüfung der Patenterteilungsvoraussetzungen durch den Senat ist weiterer Stand der Technik zu berücksichtigen (vgl. Busse/Keukenschrijver, PatG 9. Auflage 2020, § 87 Rdnr. 6). Nach dem eigenen Vorbringen hätte die Beschwerdeführerin nur - 25 - „gegebenenfalls“ davon abgesehen, Beschwerde einzulegen, wenn ihr die weiteren Druckschriften bekannt gewesen wären. Die Entscheidung darüber, ob sie Beschwerde eingelegt hätte, war somit nicht von der Kenntnis der weiteren Druckschriften abhängig, die der Senat eingeführt hat. Die fehlende Kausalität belegt auch der Umstand, dass die Beschwerdeführerin trotz des Umstandes, dass der Senat die Druckschriften D4 bis D7 in das Verfahren eingeführt hatte, an ihrem ursprünglich, vor der Prüfungsstelle gestellten Hauptantrag festgehalten hat und erst in der mündlichen Verhandlung vor dem Senat auf diesen verzichtet hat. Dieses Ergebnis gilt unabhängig davon, dass die Beschwerdeführerin der Auffassung ist, die Prüfungsstelle hätte aus ihrer Sicht unter Berücksichtigung der Druckschriften D1 bis D3 eine rückblickende Betrachtungsweise angestellt. Denn auch eine unzutreffende Würdigung der Sach- und Rechtslage allein führt nicht dazu, dass die Beschwerdegebühr zurückzuzahlen wäre (vgl. BPatG 17 W (pat) 55/03). Weitere Gründe, die es als gerechtfertigt erscheinen lassen, die Rückzahlung der Beschwerdegebühr anzuordnen, sind weder vorgetragen worden noch sind solche ersichtlich. - 26 - R e c h t s m i t t e l b e l e h r u n g Gegen diesen Beschluss steht den am Beschwerdeverfahren Beteiligten das Rechtsmittel der Rechtsbeschwerde zu. Da der Senat die Rechtsbeschwerde nicht zugelassen hat, ist sie nur statthaft, wenn gerügt wird, dass 1. das beschließende Gericht nicht vorschriftsmäßig besetzt war, 2. bei dem Beschluss ein Richter mitgewirkt hat, der von der Ausübung des Richter- amtes kraft Gesetzes ausgeschlossen oder wegen Besorgnis der Befangenheit mit Erfolg abgelehnt war, 3. einem Beteiligten das rechtliche Gehör versagt war, 4. ein Beteiligter im Verfahren nicht nach Vorschrift des Gesetzes vertreten war, sofern er nicht der Führung des Verfahrens ausdrücklich oder stillschweigend zugestimmt hat, 5. der Beschluss aufgrund einer mündlichen Verhandlung ergangen ist, bei der die Vorschriften über die Öffentlichkeit des Verfahrens verletzt worden sind, oder 6. der Beschluss nicht mit Gründen versehen ist. Die Rechtsbeschwerde ist innerhalb eines Monats nach Zustellung des Beschlusses beim Bundesgerichtshof, Herrenstr. 45 a, 76133 Karlsruhe durch eine beim Bundesgerichtshof zugelassene Rechtsanwältin oder durch einen beim Bundesgerichtshof zugelassenen Rechtsanwalt einzulegen. Dr. Morawek Dr. von Hartz Dr. Städele Dr. Harth