Bachelorthesis (PDF)




File information


Title: Facial Motion Capture Retargeting for Cartoon Blendshape Animations
Author: Franz Brandstätter

This PDF 1.5 document has been generated by LaTeX using class hgbthesis / , and has been sent on pdf-archive.com on 05/03/2014 at 16:51, from IP address 91.141.x.x. The current document download page has been viewed 1490 times.
File size: 679.74 KB (29 pages).
Privacy: public file
















File preview


Facial Motion Capture Retargeting for
Cartoon Blendshape Animations

Franz Brandstätter

BACHELORARBEIT
Nr. 0810238007-A
eingereicht am
Fachhochschul-Bachelorstudiengang

Medientechnik und -design
in Hagenberg

im Februar 2011

Diese Arbeit entstand im Rahmen des Gegenstands

3D-Animation
im
Wintersemester 2010

Betreuer:

Jürgen Hagler, Mag.

ii

Erklärung
Hiermit erkläre ich an Eides statt, dass ich die vorliegende Arbeit selbstständig und ohne fremde Hilfe verfasst, andere als die angegebenen Quellen
und Hilfsmittel nicht benutzt und die aus anderen Quellen entnommenen
Stellen als solche gekennzeichnet habe.

Hagenberg, am 8. Februar 2011

Franz Brandstätter

iii

Inhaltsverzeichnis
Erklärung

iii

Kurzfassung

vi

Abstract

vii

1 Einleitung
1.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Anfänge der Facial-Animation . . . . . . . . . . . . . . . . . .
1.3 Workflow des digitalen Motion-Capturing . . . . . . . . . . .

1
1
1
2

2 Einführung in Facial-Motion-Capturing
2.1 Marker Capturing . . . . . . . . . . . .
2.1.1 3D-Capturing . . . . . . . . . . .
2.1.2 2D-Capturing . . . . . . . . . . .
2.2 Markerless Capturing . . . . . . . . . . .
2.3 Tracking . . . . . . . . . . . . . . . . . .

3
3
4
5
6
6

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

3 Retargeting
3.1 Retargeting mittels Joints . . . . . . . . . . . . . . . . .
3.2 Retargeting mittels Blendshapes . . . . . . . . . . . . .
3.2.1 Lineare Verknüpfung der Motion-Capture-Daten
Blendshapes . . . . . . . . . . . . . . . . . . . . .
3.2.2 Parallel-Blendshape-Models . . . . . . . . . . . .
3.2.3 Posed-Correspondence Blendshape-Models . . . .
3.2.4 Local Blendshape Mapping . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

. . .
. . .
mit
. . .
. . .
. . .
. . .

8
8
9
10
13
14
15

4 Schlussbemerkungen
16
4.1 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
A Inhalt der CD-ROM/DVD
18
A.1 Dokumente . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
A.2 Bilder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
A.3 Videos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
iv

Inhaltsverzeichnis
Literaturverzeichnis

v
19

Kurzfassung
Die Bachelorarbeit beschreibt mögliche Lösungsansätze für das Retargeting
einer Cartoon-Blendshape-Animation auf Basis von Facial-Motion-CaptureDaten. Diese Daten werden im 2D-Raum mit einer Webcam aufgezeichnet
und es werden Vorgehensweisen beleuchtet, um diese Daten auf einen virtuellen Cartoon-Charakter zu übertragen.
Im Zuge dessen wird an der Bachelorarbeit von Thomas Heller, LowBudget Motion-Capture for Facial Cartoon Animation, angesetzt und mit
seinen aufgenommenen Motion-Capture-Daten weiter gearbeitet, wobei er
sich der Methode bedient, die Daten direkt an Deformer oder Joints zu binden. Bei dieser Vorgehensweise werden auftretende Probleme, wie z. B. Verzerrungen, aufgegriffen und es wird nach alternativen Retargeting-Ansätzen
mittels Blendshapes gesucht.
Ergänzend dazu erläutert der praktische Teil dieser Arbeit die lineare
Retargeting-Variante durch Blendshapes anhand eines Beispiels.

vi

Abstract
This paper presents possible solutions for retargeting cartoon blendshape
animations based on facial motion capture data using two-dimensional data
from a webcam. Several approaches to transfer the acquired data to a virtual
cartoon character are described in detail.
Based on previous work done by Heller in Low-Budget Motion-Capture
for Facial Cartoon Animation, this thesis uses his captured data as a primary data source. The method to directly bind the data to deformers or
joints chosen by Heller leads to several problems such as distortions therefor
alternative solutions for retargeting with blendshapes are discussed.
In the course of the practical part of this work, the linear retargeting
method is explained by means of an example.

vii

Kapitel 1

Einleitung
1.1

Problemstellung

Mit Motion-Capturing (im Folgenden kurz „MoCap“ genannt) menschliche
Bewegungen eines modellierten Charakters zu animieren, ist sowohl in der
Spiele-, als auch in der Filmindustrie eine jeher stark verbreitete Vorgehensweise. Auch im Bereich „Retargeting“ der MoCap-Pipeline gibt es bereits unterschiedliche Ansätze für unterschiedliche Zwecke. Um eine möglichst realistische Facial Cartoon Animation erzielen zu können, wird in diesem Zusammenhang in dieser Arbeit das Retargeting mit Blendshapes näher untersucht.
Anhand praktischer Beispiele wird dieser Ansatz mit jenem verglichen, den
Heller in [6] verwendet.

1.2

Anfänge der Facial-Animation

Einer der Vorreiter der automatischen Bewegungsaufzeichnung war Jules Marey. Laut [10, S. 2] analysierte und digitalisierte er Bewegungsabläufe von
Tieren mit einer selbst entwickelten Apparatur.
Die ersten computergenerierten Bilder von dreidimensionalen Gesichtern
erstellte Parke im Zuge eines Kurses von Ivan Sutherland an der Universität
Utah 1971. Zu diesem Zeitpunkt stellte Henri Gourand seine Dissertation
über den von ihm entwickelten „Smooth Polygon Shading Algorithm“ fertig,
welchen Parke für die ersten „Data Driven Facial Animations“ verwendete
[18, S. 3].
Facial-Animationen mit Blendshapes zu steuern ist heute eine bereits
weit verbreitete Vorgehensweise sowohl in der Film-, als auch in der Computerspiele-Industrie. Diese Methode wurde erstmals durch den Kurzanimationsfilm Tony de Peltrie 1985 (Abbildung 1.1) bekannt und wird noch heute in
Filmen wie z. B. Stuart Little, Star Wars, Der Herr der Ringe oder Avatar
laut [22, S. 48] und [11, S. 1] eingesetzt.
1987 entwickelte Waters einen „Muscle Setup“-Ansatz für Facial-Anima1

1. Einleitung

2

Abbildung 1.1: Tony de Peltrie 1985 gesteuert durch Blendshapes. Quelle: http://www.adventuresinanimation.com/TonydePeltrie.htm

tionen. Im selben Jahr lieferten Lewis und Parke [12], sowie im Jahr darauf Hill et al. [7], Techniken zur automatisierten Synchronisation von Sprache und Facial-Animation und im Jahr 1988 veröffentlichten MagnenatThalmann et al. [15] einen weiteren „Muscle Setup“-Ansatz [18, S. 5].
Ein Meilenstein der Gesichtsanimationsgeschichte stellt der Animationsfilm Tin Toy 1 dar. Pixar produzierte 1988 diese Animation mithilfe eines
„Muscle Setups“ und erhielt dafür den „Academy Award“ für den besten animierten Kurzfilm.

1.3

Workflow des digitalen Motion-Capturing

Die Arbeitsschritte zur Erstellung einer Animation mit Hilfe von MoCap
lassen sich im Wesentlichen in drei große Kapitel untergliedern:
• Capturing (Aufzeichnen), siehe Abschnitt 2.1 bis 2.2.
• Tracking (Punktrekonstruktion), siehe Abschnitt 2.3.
• Retargeting (Übertragen), siehe Kapitel 3.
Diese Schritte werden in den folgenden Kapiteln hinsichtlich CartoonAnimationen genauer behandelt und Sie werden einen Überblick über mögliche Vorgehensweisen und gängige Methoden erhalten. Für die einzelnen
Unterpunkte gibt es, abhängig von Ressourcen und gewünschtem Output,
unterschiedliche Methoden mit unterschiedlicher Komplexität.
1

http://www.pixar.com/shorts/tt/






Download Bachelorthesis



Bachelorthesis.pdf (PDF, 679.74 KB)


Download PDF







Share this file on social networks



     





Link to this page



Permanent link

Use the permanent link to the download page to share your document on Facebook, Twitter, LinkedIn, or directly with a contact by e-Mail, Messenger, Whatsapp, Line..




Short link

Use the short link to share your document on Twitter or by text message (SMS)




HTML Code

Copy the following HTML code to share your document on a Website or Blog




QR Code to this page


QR Code link to PDF file Bachelorthesis.pdf






This file has been shared publicly by a user of PDF Archive.
Document ID: 0000150083.
Report illicit content