拙訳は抜粋や意訳を多く含みます。原著を必ず確認してください。
拙訳
1. まえがき(Introduction)
Tangled1における物理ベース髪シェーディングを含めた成功に続き、より広い範囲のマテリアルに対応した物理ベースシェーディングモデルを検討し始めた。物理ベース髪シェーディングでは、アーティストのための制御機能を整備しつつ、素晴らしいビジュアルのリッチさを達成することができた。しかし、髪のライティングとシーンとの統合は、伝統的なアドホックなシェーディングモデルと大きさのないライトを用いていたため、困難を伴った。その後の作品で我々は、マテリアルと環境に対するライトの応答にさらなる一貫性を持たせつつ、すべてのマテリアルにおいてリッチさを向上させたり、簡単化した制御機能を用いることで、アーティストの生産性を向上させたりしたかった。
調査を初めた段階では、どのモデルを使うべきかという以前に、どれほど物理ベースであればよいのかということさえ明確ではなかった。エネルギー保存則を完全に満たしたものであるべきなのだろうか。屈折率のような物理的パラメータを採用するべきなのだろうか。
ディフューズでは、Lambertが標準として受け入れられているように見える。一方のスペキュラは、界隈で最も注目を集めているように見える。Ashikhmin-Shirley [2000Ashikhmin, M. and Shirley, P. 2000. An anisotropic phong BRDF model. Journal of Graphics Tools 5, 2, 25–32. 10.1080/10867651.2000.10487522.] のようなモデルは物理的にもっともらしくありつつも直観的で実践的であることを目的としている。一方で、 He et al. [1991He, X. D., Torrance, K. E., Sillion, F. X. and Greenberg, D. P. 1991. A comprehensive physical model for light reflection. SIGGRAPH Comput. Graph. 25, 4, 175–186. 10.1145/127719.122738. https://www.graphics.cornell.edu/pubs/1991/HTSG91.pdf.] のようなものはより包括的な物理モデルを提供している。データフィッティングの改善を目的としたものもあるが、そのいくつかは手動の操作がふさわしいようにできている。我々はいくつかのモデルを実装してみて、アーティストに選んだり組み合わせたりしてもらったが、逃れようとしていたパラメータ爆発の所に結局のところ戻ってきてしまった。
多種多様な測定マテリアルを扱う研究として、5つの人気のモデルを比較した Ngan et al. [2005Ngan, A., Durand, F. and Matusik, W. 2005. Experimental analysis of BRDF models. Proceedings of the sixteenth eurographics conference on rendering techniques 117–126. https://www.merl.com/publications/docs/TR2005-151.pdf.] のものがある。いくつかのモデルは全体的にその他のモデルよりもうまくできているが、興味深いことに、そこにはモデルの性能との強い相関があった。つまり、いくつかのマテリアルはそのすべてのモデルによってうまく表現されるが、その他のマテリアルではまったくだめだった。追加のスペキュラローブを加えると、ごく少数のケースでのみ、これの助けとなった。これは、難しいマテリアルでは何が表現できないのか、という質問を投げかけている。
この質問の答えとして、BRDFモデルをより直観的に評価するため、我々は、測定マテリアルと解析的BRDFを一緒に表示と比較を行うことができる、新しいBRDFビュアーを開発した。測定マテリアルのデータを見る新しく直観的な方法を発見し、知られたモデルにはうまく表現されていなかった、測定モデルの興味深い特徴を見つけた。
このコースノートでは、測定データにフィットするモデルとそのモデルに足りないものについて収集した洞察に加えて、測定マテリアルを研究することで得られた結果を共有したい。そして、すべての現行のプロダクションで使われている我々の新しいモデルを提供したい。また、プロダクションでこの新しいモデルを採用した経験を説明し、どのようにして単純さと頑強さを維持しつつアーティストの制御機能を正しいレベルで追加することができたかを論じたい。
2. マイクロファセットモデル(The microfacet model)
マイクロファセットモデルは、表面の反射が光のベクトルと視線のベクトルとの間で起こり得るなら、との中間に平行な法線を持つ表面またはマイクロファセットの一部が存在することを仮定する。ときおりマイクロサーフェスの法線として参照される、この”ハーフベクトル”はとして定義される。等方的な材質のためのマイクロファセットモデルの一般的な形式は以下で表される。
ディフューズ項は形式不明の関数である。しばしば想定されるLambertでは定数値で表現される。スペキュラ項において、はマイクロファセットの分布関数であり、スペキュラのピーク形状の要因となる。はFresnel反射係数である。は幾何減衰もしくはシャドウイングの因数である。
とは法線に対するとの入射角である。は法線とハーフベクトルとのなす角である。 はとハーフベクトル(もしくは、対称的に考えて、と)との”差”の角度である。
ほとんどの物理的にもっともらしいモデルは、マイクロファセットの形式で具体的に記述されていなくても、それらが分布関数、Fresnel因数、そして、幾何学的シャドウイング因数と見なせる追加の因数を持つという点で言えば、マイクロファセットモデルであると解釈することができる。マイクロファセットモデルとその他のモデルとの間で唯一異なるのは、マイクロファセットの導出に由来する明示的な因数が含まれているかどうかである。この因数が含まれていないモデルでは、暗黙のシャドウイング因数を、とを因数分解したあとで、モデルへをかけることにより定めることができる。
3. 測定BRDFの可視化(Visualizing measured BRDFs)
3.1. The “MERL 100”
(図1:MERL100に含まれるBRDFの画像スライス)
等方的なBRDFマテリアルのサンプル100種が Matusik et al. [2003Matusik, W., Pfister, H., Brand, M. and McMillan, L. 2003. A data-driven reflectance model. ACM Trans. Graph. 22, 3, 759–769. 10.1145/882262.882343. https://cseweb.ucsd.edu/~ravir/6160/papers/p759-matusik.pdf.] によりキャプチャされた。そこには、塗料、木材、金属、織物、岩石、ゴム、プラスチック、その他の合成材質を含む広範囲のマテリアルが網羅されている。このデータセットはMitsubishi Electric Research Laboratoriesから無料で手に入れることができ、一般的には新しいBRDFモデルの評価に使われる。これらのBRDFのスライスを図1に示す。
MERL100の各BRDFは、軸、軸、軸にそってそれぞれが、、の三次元へ密にサンプルされる。これらは、スペキュラのピーク近くにデータサンプルが集中するように歪ませてある軸を除いて、度刻みになっている。これは、データが扱いやすいという点では良いことだが、特に水平近くでデータがどれだけ正確なのかについて明確でない。このため、一部の研究者はフィッティングを行うときに水平近くのデータを破棄しているが、このデータはマテリアルの外観における重大な効果を持つ可能性を考えるためにはいまだ有効である。
3.2. BRDFエクスプローラー(BRDF Explorer)
(図2:ディズニーのBRDFエクスプローラー)
MERLの測定マテリアルを調べて、解析的モデルと比較するため、我々は図2で示される、新しいツールであるBRDFエクスプローラーを開発した。ソースコードはGitHubから手に入れることができる。BRDFエクスプローラーは以下の機能を有する。
- GLSLで描かれた解析的BRDFの読み込み。
- Ngan et al. [2005Ngan, A., Durand, F. and Matusik, W. 2005. Experimental analysis of BRDF models. Proceedings of the sixteenth eurographics conference on rendering techniques 117–126. https://www.merl.com/publications/docs/TR2005-151.pdf.] がキャプチャした異方的マテリアルのサンプルを含む測定BRDFの読み込み。
- 複数データのプロット。(3D半球表示、極座標、様々なデカルト座標系)
- 計算済みアルベドのプロット。(半球での方向における反射率)
- 露出制御付き画像スライス表示。
- 重点サンプリングされたIBLによって照らされたオブジェクトの表示。
- 照らされた球の表示。
- パラメトリックモデルのためのUIによる動的制御。
このツールは、新しいモデルの開発と同様に、測定マテリアルと既存の解析的モデルとの比較において非常に貴重であった。驚くことに、モデルのパラメータとBRDF空間に対するより深い理解をもたらすことから、アーティストのためのインタラクティブなBRDFエディタとしても非常に有用であることが判明した。
3.3. 画像スライス(Image slice)
(図3: 赤いプラスチック と 光沢のある赤いプラスチック のBRDF画像スライスと”スライス空間”の概略図)
測定データを可視化する最も単純で最も直観的な方法のひとつは、単に画像の束として見ることであり、我々は、これがデータに関する直観を得るための非常に強力なツールであることを発見した。結論として、MERL100のマテリアルの興味深い特徴はすべてのスライスに見ることができる。この空間の概略図は、2つのマテリアルのサンプルと合わせて、図3で示される。その他のスライスは、図4で示される通り、のスライスに対して大まかに歪んでいるだけである。この観察結果は、の形式に簡単化した等方的なBRDFモデルの基礎として、 Romeiro et al. [2008Romeiro, F., Vasilyev, Y. and Zickler, T. 2008. Passive reflectometry. Computer vision – ECCV 2008: 10th european conference on computer vision, marseille, france, october 12-18, 2008, proceedings, part IV 859–872. 10.1007/978-3-540-88693-8_63.] や Pacanowski et al. [2012Pacanowski, R., Salazar Celis, O., Schlick, C., Granier, X., Poulin, P. and Cuyt, A. 2012. Rational BRDF. IEEE Transactions on Visualization and Computer Graphics 18, 11, 1824–1835. 10.1109/TVCG.2012.73. https://people.bordeaux.inria.fr/romain.pacanowski/publis/rationalBRDF.pdf.] のような近年の研究で利用されていた。
(図4:が異なるときの 光沢のある赤いプラスチック のスライス。右上の黒の範囲はかのいずれかが水平線の下に潜り込むBRDF領域の部分を表す。)
画像スライスでは、左端がスペキュラのピークを表し、上端がFresnelのピークを表す。下端では光のベクトルと視線のベクトルが完全に一致する。すなわち、下端は再帰反射を表す。特に右下はグレージング再帰反射を表す。ディフューズ反射率はBRDF空間全体で表されるが、一般的には画像の中央をディフューズ応答として特定する。
図3の概略図にはまたはの等値線も含まれている。多くのディフューズ効果はこの等高線に従う傾向にある。これらの等値線はをゼロに近づけると直線になり、のスライスを比較することで、マテリアル応答のどの部分がディフューズ反射に由来しているかと、どの部分がスペキュラ反射に由来しているかについての洞察を得られる。もうひとつのヒントはもちろん色についてである。つまり、ディフューズ反射率はその表面に起因し、(表面が金属のように)色付けされているわけではない。
4. MERLマテリアルの観察結果(Observations from MERL materials)
4.1. ディフューズの観察結果(Diffuse observations)
(図5:ディフューズ色の種類を表すマテリアル群。上段:レンダリングされた球における点光源の応答。下段:BRDF画像スライス。)
ディフューズ反射率は、表面に対して屈折したり、散乱したり、一部が吸収したり、再放出したりする光を表す。一部の光が吸収されると、ディフューズ応答は表面の色で色付けされる。すると、色付けが行われた非金属マテリアルの部分はディフューズであるとみなすことができる。
(図6:MERL100のマテリアルにおける自己反射の応答。左:50の滑らかなマテリアル()。右:50の粗いマテリアル()。近くのピークはスペキュラのピークであり、近くのピーク(または、落ち込み)はグレージング自己反射を表す。)
(図7:赤いプラスチック、光沢のある赤いプラスチック、ランバートディフューズの点光源に対する応答。)
Lambertディフューズモデルは、屈折光が、指向性が完全に失われてしまうくらい十分に散乱していると仮定する。したがって、ディフューズ反射率は定数になる。しかし、Lambert的な応答を表すマテリアルは非常に少ないことを図1と図5における様々な画像スライスに見ることができる。
図6に示されるように、多くのマテリアルにはグレージング自己反射での落ち込みが見られ、その他大勢にはピークが見られる。これは、画像スライスにおける見かけ上の色付けに起因するディフューズ現象であるように見える。これはラフネスと強く相関している。つまり、より高いスペキュラピークをもつ滑らかな表面は輪郭が暗くなる傾向があり、粗い表面は逆に明るくなる傾向がある。この相関は自己反射の応答曲線や図7のレンダリングされた球に見ることができる。
滑らかな表面において輪郭が暗くなる現象はFresnelの式により予測される。つまり、グレージング角では、表面で反射するエネルギーが多くなり、屈折してディフューズ的に再放出するエネルギーは少なくなる。しかし、ディフューズモデルは、Fresnelの屈折における表面のラフネスによる効果を考慮せずに、表面が滑らかであると仮定するか、Fresnel効果を無視するかのいずれかであることが多い。
Oren-Nayarモデル [1994Oren, M. and Nayar, S. K. 1994. Generalization of Lambert's reflectance model. Proceedings of the 21st annual conference on computer graphics and interactive techniques 239–246. 10.1145/192161.192213. https://cave.cs.columbia.edu/Statics/publications/pdfs/Oren_SIGGRAPH94.pdf.] は、ディフューズ形状を平坦化するような、粗いディフューズ表面における再帰反射の増加を予測する。
(図8:Lambert、Oren-Nayar、Hanrahan-KruegerのディフューズモデルにおけるBRDFスライスと点光源の応答。)
しかし、この再帰反射のピークは測定データほど強くはなく、粗い測定マテリアルは一般的にディフューズの平坦化を示さない。表面下散乱の理論から導き出されたHanrahan-Kruegerモデル [1993Hanrahan, P. and Krueger, W. 1993. Reflection from layered surfaces due to subsurface scattering. Proceedings of the 20th annual conference on computer graphics and interactive techniques 165–174. 10.1145/166117.166139. https://cseweb.ucsd.edu/~ravir/6998/papers/p165-hanrahan.pdf.] はディフューズ形状の平坦化を予測するが、その輪郭においてあまり強いピークを持たない。Oren-Nayarとは対照的に、このモデルは完全に滑らかな表面を仮定する。Oren-NayarモデルとHanrahan-Kruegerモデルは図8でその比較が示される。
再帰反射のピークの他にも、図5の画像スライスにはさらなるディフューズの変化が見られる。強度と色の両方の変化はの等値線に沿って見られる。これは、場合によっては、層状の表面下散乱によるものである可能性がある。しかし層状の表面下散乱モデルであっても一般的にその表面は滑らかであると考え、強い再帰反射のピークを生み出さない。
4.2. スペキュラにおけるDの観察結果(Specular D observations)
マイクロファセット分布関数は、図6が示すように測定マテリアルにおける再帰反射の応答から観察することができる。そのマテリアルは、表面のラフネスの指標とすることができる、ピークの高さに基づいて2つのグループに分けられる。最も高いピークは 鋼 で400以上あった。ピークが平坦になっていれば、曲線の残りの部分はディフューズ反射率由来である可能性が高い。MERLマテリアルの大多数は伝統的なスペキュラモデルより長いテールを有するスペキュラローブを持つ。例として、クロム のサンプルを図9に示す。このマテリアルのスペキュラ応答は、滑らかで高度に研磨された表面においては典型的であり、2、3度の幅しかないスペキュラピークと何倍も広いスペキュラテールを持つ。奇妙なことに、伝統的なBeckmann、Blinn Phong、Gaussianといった分布はこの幅においてはほぼ同じであり、そのピークとテールにおいてはいずれもうまく表現できていない。
(図9:MERLのクロムにフィットしたスペキュラ分布。左:に対するスペキュラピークの対数スケールのプロットで、黒はクロム、赤はGGX()、緑はBeckmann()、青はBlinn Phong()。右:クロム、GGX、Beckmannにおける点光源の応答。)
より広いテールが求められていたことは Walter et al. [2007Walter, B., Marschner, S. R., Li, H. and Torrance, K. E. 2007. Microfacet models for refraction through rough surfaces. Proceedings of the 18th eurographics conference on rendering techniques 195–206. 10.2312/EGWR/EGSR07/195-206. https://www.graphics.cornell.edu/~bjw/microfacetbsdf.pdf.] がGGXを導入した動機になった。GGXは他の分布より長いテールを持つが、いまだクロムのサンプルの輝くハイライトを捉えるまでには至っていない。測定マテリアルをフィットさせるようにテールの応答をモデリングすることの重要性は Löw et al. [2012Löw, J., Kronander, J., Ynnerman, A. and Unger, J. 2012. BRDF models for accurate and efficient rendering of glossy surfaces. ACM Trans. Graph. 31, 1. 10.1145/2077341.2077350. https://www.itn.liu.se/~jonun48/web/papers/2012-TOG/main.pdf.] や Bagher et al. [2012Bagher, M. M., Soler, C. and Holzschuch, N. 2012. Accurate fitting of measured reflectances using a Shifted Gamma micro-facet distribution. Computer Graphics Forum 31, 4, 1509–1518. 10.1111/j.1467-8659.2012.03147.x. https://inria.hal.science/hal-00702304v1/document.] といった最近のモデルの基礎ともなった。これらのモデルは両方とも、ピークとは別にテールを制御する追加のパラメータが加えられている。テールをモデリングするもうひとつの選択肢は、 Ngan et al. [2005Ngan, A., Durand, F. and Matusik, W. 2005. Experimental analysis of BRDF models. Proceedings of the sixteenth eurographics conference on rendering techniques 117–126. https://www.merl.com/publications/docs/TR2005-151.pdf.] が提案したような、1つ目に加える形でより広い2つ目のスペキュラピークを使うことである。
4.3. スペキュラにおけるFの観察結果(Specular F observations)
(図10:に対するMERL100マテリアルの正規化されたFresnel応答。応答を1度から4度ので平均化し、入射応答を差し引き、曲線部を形状比較のために45度から80度までので正規化した。点線はFresnel応答の理論値を表す。)
Fresnel反射因数は、光ベクトルと視線ベクトルが別々に動くようなスペキュラ反射での増加を表し、すべての滑らかな表面はグレージング入射角においてスペキュラ反射が100%に近づくであろうことを予測する。粗い表面では、スペキュラ反射は100%にならずとも、その反射率は依然としてスペキュラ的になるだろう。
MERLマテリアルのFresnel応答曲線は図10に示される。応答の全体形状を比較するため、曲線はオフセットとスケールがされている。すべてのマテリアルは近くで反射率の増加が見られる。これは図1における画像スライスの上端にも見ることができる。
特筆すべきことは、グレージング角付近では多くの曲線の傾斜がFrenel効果による予測よりも大きいことである。この観察結果は実際に、高い入射角で見られる”ズレたスペキュラピーク”を説明するTorrance-Sparrow [1967Torrance, K. E. and Sparrow, E. M. 1967. Theory for off-specular reflection from roughened surfaces∗. Journal of The Optical Society of America 57, 9, 1105–1114. 10.1364/JOSA.57.001105. https://www.graphics.cornell.edu/~westin/pubs/TorranceSparrowJOSA1967.pdf.] のマイクロファセットモデルの動機となった。マイクロファセットモデルにおけるはグレージング角において無限大に近づく。グレージング反射率はマイクロサーフェスのシャドウイング効果により減少するので、(モデルでも現実世界でも)問題にならない。は光ベクトルのシャドウイングと、それと対照的な、視線ベクトルのマスキングを表し、グレージング反射率を制御下に置く。しかし、がシャドウイングを表していたとしても、との組み合わせは実際の所Fresnel効果を増幅している。
スペキュラにおけるG(とアルベド)の観察結果(Specular G (and albedo) observations)
(図11:MERL100マテリアルのアルベドのプロット。左:50の滑らかなマテリアル。右:50の粗いマテリアル。)
測定データからを分離することは、ディフューズからスペキュラを分離するのと同じようにとを正確に推定する必要があるために難しい。しかし、の効果は方向アルベドでの効果として間接的に見ることができる。アルベドは総入射エネルギーに対する総反射エネルギーの割合である。広義では、表面の色を表し、すべての波長が1以下でなければならない。アルベドは、太陽のような単一の方向から来る光についても考えられる。その場合は、アルベドは入射角に依存する方向関数となり、すべての角度と波長において1以下でなければならない。
ほとんどのマテリアルの方向アルベドは図11に見られるようにはじめの70度では比較的平坦であり、グレージング角でのアルベドは表面のラフネスと強く相関している。滑らかなマテリアルでは、75度までわずかに増加し、続いて90度にかけて落ち込みを示している。粗い表面では、あるものでは著しく、グレージング入射角に至るまでずっと増加している。とりわけ、アルベドの値は全体的にかなり低く、0.3以上であるマテリアルはほぼ無い。
(図12:スペキュラのGモデルを比較したアルベドのプロット。すべてのプロットで同じD(GGX/TR)とFを用いている。左:滑らかな表面()。右:粗い表面()。“No G”モデルはGとを取り除いている。)
多くの粗いマテリアルで見られるグレージング自己反射は、アルベドでの色彩の色付けに証明されるように、この増加にも大いに貢献する。
非常に滑らかな表面と非常に粗い表面の両方について、モデル化されたの選択に対応したアルベド応答を図12に示す。“No G”モデルで示されるように、とを省略すると、グレージング角では応答が暗くなりすぎてしまう。ここで重要な点は、関数の選択がアルベドに重大な影響を及ぼすと同様に、表面の外観に重大な影響を及ぼすということである。
一部のスペキュラモデルは、よりもっともらしいアルベド応答曲線を生成することを特段の目標として開発されてきた。これらの一部では、エネルギー均衡を維持するため、アルベドを完全な平坦にすることを目的としている。図11におけるMERLデータのアルベドプロットに基づけば、マテリアルの殆どがいくらかのグレージング増加を示しているが、これは不合理な目標ではない。つまり、いくらかのグレージング増加はスペキュラでない効果に起因している可能性が高い。
前提の単純化をいくつか用いることで、 Smith [1967Smith, B. 1967. Geometrical shadowing of a random rough surface. IEEE Transactions on Antennas and Propagation 15, 5, 668–671. 10.1109/TAP.1967.1138991.] の手法に従い、マイクロファセットの分布からシャドウイング関数を導くことができる。これは Walter et al. [2007Walter, B., Marschner, S. R., Li, H. and Torrance, K. E. 2007. Microfacet models for refraction through rough surfaces. Proceedings of the 18th eurographics conference on rendering techniques 195–206. 10.2312/EGWR/EGSR07/195-206. https://www.graphics.cornell.edu/~bjw/microfacetbsdf.pdf.] や Schlick [1994Schlick, C. 1994. An inexpensive BRDF model for physically-based rendering. Computer Graphics Forum 13, 3, 233–246. https://doi.org/10.1111/1467-8659.1330233. https://wiki.jmonkeyengine.org/docs/3.3/tutorials/_attachments/Schlick94.pdf.] で用いられるアプローチである。図12に見られるように、WalterによるSmithモデルのグレージング反射率は滑らかな表面において大いに増加する。これは測定データには見られない効果である。粗くなれば、その応答はよりもっともらしくなる。Smithのは少数の関数のみ解析形式を持ち、表形式の積分か他の近似がよく使われる。
Kurt et al. [2010Kurt, M., Szirmay-Kalos, L. and Křivánek, J. 2010. An anisotropic BRDF model for fitting and Monte Carlo rendering. SIGGRAPH Comput. Graph. 44, 1. 10.1145/1722991.1722996. https://cgg.mff.cuni.cz/~jaroslav/papers/2010-anisobrdf/2010-anisobrdf.pdf.] による近年の経験的モデルは異なるアプローチを取っており、自由パラメータを持つデータフィッティングモデルを提案する。図12はとしたKurtモデルを示しており、の他の値ではアルベド応答の広い範囲を生み出すことができる。Kurtのアルベドはグレージング角近くで発散することが気になる所ではあり、粗い分布ではそれが顕著に現れる。その他の選択肢として、WalterによるSmithのの導出のひとつかSchlickによるより単純なものを用いて、自由パラメータとしてのラフネスを切り離すことが挙げられる。
4.5. 生地(Fabric)
MERLデータベースにおける布サンプルの多くはグレージング角でスペキュラの色付けを示し、同程度のラフネスのマテリアルが持つものより強いFresnelピークを持つ。これらの例は図13に示す。
(図13:様々な生地サンプルのBRDF画像スライス。)
色付けされたグレージング応答には、布が、物体の輪郭近くでマテリアルの色を拾う透過性の繊維を持つという事実を示している可能性がある。これは、マイクロファセットモデルの予測を越えた、布におけるグレージング角での追加の増加も表している可能性がある。
多くの生地が非常に複雑なマテリアル応答を持つこともあるのに対し、MERLの生地は比較的モデル化しやすそうに見える。
4.6. 玉虫色(Iridescence)
(図14:色変化塗料1、2、3 のBRDF画像スライス。上段:オリジナルデータ。下段:ピクセルごとにでスケールして生成した対応する彩度画像。)
図14で示した3つの色変化塗料は、に対する依存を最小限にした、空間に渡る一貫性のある色のパッチを表す。これは、スペキュラピークから以外の反射率が非常に小さいことを考えると、完全にスペキュラの現象であると思われる。これは、おそらく小さなテクスチャマップになるであろうとの関数として、スペキュラの色相を変調することで簡単にモデル化できる可能性がある。
4.7. データ異常(Data anomalies)
図15にはMERLデータの異常がいくつか示されている。
(図15:MERLデータにおける異常。左から、非対称なハイライトを示す 鋼 の点光源の応答。(すべてのマテリアルに見られる)グレージングデータの外挿が見られる 色変化塗料1 の彩度プロット。しわ寄せによるものと思われるグレージング近くのシャドウイングを示す 白い生地。(歪んだ空間に保存されているように見える)木目によるものと思われるスペキュラ変化を示す 果樹の木材241。)
- 一部の光沢の強いマテリアル、特に金属が、レンズフレアやおそらくは異方的な表面の傷を思わせる非対称なハイライトを表している。
- 75度以上のデータが外挿されているように見える。
- 生地のグレージング応答が奇妙な不連続値を持っている。おそらくは、キャプチャするさいに球状に引き伸ばされ、端付近にしわが寄ったことによると思われる。
- 一部の木材が木目によるものと思われるに沿ったスペキュラ変調パターンを表している。
- 表面下散乱効果が焼き込まれている。
これらはそのデータやキャプチャプロセスを批判しているのではなく、過剰なフィッティングやデータ補正をしないように警告しているだけである。このことは、潜在的に、一部のマテリアルがフィットできない理由についての以前提起した疑問に対する部分的な回答にもなっている。
5. ディズニーの”原則的”BRDF(Disney “principled” BRDF)
5.1. 原則(Principles)
新しい物理ベース反射モデルを開発する中で、我々はアーティストたちから、アート指向で時には物理的に正しくないこともできるようなシェーディングモデルが欲しいと注文を受けた。これのため、厳密に物理的なそれではなく、“原則的”モデルを開発することを方針としてきた。
モデルを実装するときに従うと決めた原則を以下に示す。
- パラメータは物理的なものよりも直観的なものを使う。
- パラメータは可能な限り少なくする。
- パラメータはそのもっともらしい範囲を0から1にする。
- パラメータは道理にかなうならばそのもっともらしい範囲を逸脱できるようにする。
- パラメータの組み合わせは可能な限りすべてが堅牢でもっともらしくなるようにする。
我々は各パラメータの追加を徹底的に議論した。最終的には、以下の節で説明する、1個の色と10個のスカラパラメータを持つことに決まった。
5.2. パラメータ(Parameters)
- baseColor: 表面の色。通常はテクスチャマップにより与えられる。
- subsurface: 表面下の近似を用いてディフューズ形状を制御する。
- metallic: 金属らしさ(0で誘電体、1で金属)。これは2つの異なるモデルの線形なブレンドである。金属モデルはディフューズ要素を持たず、ベース色と同じ色で色付けされた入射スペキュラを持つ。
- specular: 入射スペキュラの量。これは屈折率を明示する代わりになる。
- specularTint: 入射スペキュラの色をベース色に近づけるアーティスト制御のための譲歩。グレージングスペキュラは無色のまま。
- roughness: 表面の粗さ。ディフューズとスペキュラの両方を制御する。
- anisotropic: 異方性の程度。スペキュラハイライトのアスペクト比を制御する。(0で等方的、1で最大限に異方的。)
- sheen: 追加のグレージング要素。主に布用。
- sheenTint: sheenの色をベース色に近づける量。
- clearcoat: 第二の特殊用途のスペキュラローブ。
- clearcoatGloss: clearcoatの光沢を制御する(0で”サテン”っぽい見た目に、1で”つや”っぽい見た目になる)。
各パラメータの影響のレンダリング例を図16に示す。
(図16:我々のBRDFパラメータの影響の例。各パラメータは他のパラメータを固定したまま左から右に0から1に変化する。)
5.3. ディフューズモデルの詳細(Diffuse model details)
一部のモデルは以下のようなディフューズFresnel因数を導入している。
ここで、は反射のFresnel因数である。
[注:屈折のFresnelの法則とHelmholtzの相反性の保存により、表面に入るときと出るときの2回分の屈折を計算に入れる必要がある。]
測定データの観察結果や過去のスタジオの経験を踏まえると、Lambertディフューズモデルは時折その輪郭が暗くなりすぎてしまう。しかも、より物理的にもっともらしくしようとFresnel因数を追加するだけでは更に暗くなってしまう。
観察結果に基づき、我々は、滑らかな表面におけるディフューズFresnelシャドウと粗い表面における追加のハイライトの間を遷移する、ディフューズ自己反射のための新しい経験的モデルを開発した。この効果は、粗い表面において、光がマイクロサーフェスの形状の両側から出たり入ったりすることで、グレージング角での屈折が増加することである、と説明できるかもしれない。いずれにしても、アーティストは好感を持っており、よりもっともらしく、物理にその根幹を持つことを除いてアドホックなモデルが持っていた特徴と似ている。我々のモデルでは、ディフューズFresnel因数における屈折率を無視し、入射するディフューズの損失が発生しないことを仮定する。これにより入射するディフューズ色を直接指定することができる。我々はSchlickのFresnel近似を使い、ゼロではないラフネスから決定される特定の値になるようにグレージングの自己反射応答を修正する。我々のベースとなるディフューズモデルを以下に示す。
ここで、である。
これは、滑らかな表面ではグレージング角において0.5倍に入射するディフューズ反射率を減らすようなディフューズFresnelシャドウを生み出し、粗い表面では最大2.5倍に増やす。これは、MERLデータに対して程よい一致を提供しているように見えるし、アーティスト的にも満足するものであることが分かった。図17には様々なラフネス値における我々のモデルのBRDF画像スライスを示す。
(図17:様々なラフネス値における我々のモデルのBRDF画像スライス。)
表面下パラメータは、ベースとなるディフューズ形状とHanrahan-Kruegerの表面下BRDF [1993Hanrahan, P. and Krueger, W. 1993. Reflection from layered surfaces due to subsurface scattering. Proceedings of the 20th annual conference on computer graphics and interactive techniques 165–174. 10.1145/166117.166139. https://cseweb.ucsd.edu/~ravir/6998/papers/p165-hanrahan.pdf.] に触発されたものをブレンドする。これは、離れたオブジェクトや平均散乱経路長が小さいオブジェクトに表面下の見た目を与えるのに便利である。しかし、影に入ったり表面を通ったりして光がにじみ出ないため、完全な表面下輸送の代用にはならない。
5.4. スペキュラにおけるDの詳細(Specular D details)
よく使われるモデルのうち、GGXは最も長いテールを持つ。このモデルは、実験データとのマッチ性能により Blinn [1977Blinn, J. F. 1977. Models of light reflection for computer synthesized pictures. SIGGRAPH Comput. Graph. 11, 2, 192–198. 10.1145/965141.563893.] が支持した Trowbridge-Reitz [1975Trowbridge, T. S. and Reitz, K. P. 1975. Average irregularity representation of a rough surface for ray reflection. Journal of The Optical Society of America 65, 5, 531–536. 10.1364/JOSA.65.000531. https://pharr.org/matt/blog/images/average-irregularity-representation-of-a-rough-surface-for-ray-reflection.pdf.] の分布と実際には等価である。しかし、この分布はそれでもなお多くのマテリアルに対して十分に長いテールを持つわけではない。
TrowbridgeとReitzは、一部の他分布を含めた彼らの分布関数と磨りガラスの測定結果とを比較した。その他の分布のひとつである Berry (1923) は非常に近い形式を持つ。比べると、指数が1から2になっており、結果としてさらに長いテールをもたらす。これは変化する指数を持つより一般的な分布を示唆しており、以下のように表される。これをGeneralized-Trowbridge-Reitz、または、GTRと呼ぶことにする。
ここで、はスケーリング定数を、は0から1までの値を取るラフネスパラメータを表す。では完全に滑らかな分布(つまり、におけるデルタ関数)を生み、では完全に粗い分布もしくは一様分布を生む。
(図18:様々なにおけるに対するGTR分布曲線。)
序文のフィッティング結果は、の典型的な値が1から2の間にあることを示唆している。興味深いことに、のときのGTRはとしたときのHenyey-Greensteinの位相関数と等価である。を2倍するということは、分布を半球から全球に拡張すると見ることができる。
もっともらしいマイクロファセット分布は正規化されていなければならず、効率的なレンダリングのために重点サンプリングに対応していなければならない。その両方は半球上で積分可能な分布を必要とする。幸いにも、この関数は単純な閉形式の積分を持つ。正規化と関数の重点サンプリング、および効率的な異方的形式は付録Bで導出する。
我々のBRDFでは、2つのGTRモデルを用いたスペキュラローブを持つかどうかを選択する。第一のローブはを使い、第二のローブはを使う。第一ローブはベースとなるマテリアルを表し、異方性を持ったり、金属的であったりしてもよい。第二ローブはベースとなるマテリアルの上にあるクリアコート層を表し、つねに等方性を持ち、非金属である。
ラフネスでは、にマッピングすることで、ラフネスがより知覚的に線形に変化することを発見した。このリマッピングがないと、輝くマテリアルにマッチするときに非常に小さな非直観的な値が必要とされた。粗いマテリアルと滑らかなマテリアルの間を補間すると、常に粗い結果が生み出される。補間の結果は図16と図19で示される。
明示的な屈折率の代わりに、specular パラメータは入射するスペキュラの量を決定する。このパラメータの正規化された範囲は入射スペキュラの範囲に線形にリマップされている。これはの範囲における屈折率に対応し、ほとんどの基本的なマテリアルを網羅する。パラメータ範囲の中央は非常に典型的な値である屈折率の1.5に対応しており、これをデフォルトとしている。specular パラメータはより高い屈折率に至るために1を超えてもよいが、注意して行われるべきである。このパラメータマッピングは、現実世界の入射の反射率があまりにも直感に反して低いため、アーティストにもっともらしいマテリアルを作ってもらうさいに大いに役立った。
クリアコート層では、ポリウレタンを表現する屈折率1.5を固定して用い、その代わりとして、アーティストが clearcoat パラメータを使って層の全体的な強さをスケールできるようにする。正規化されたパラメータ範囲はの全体スケールに対応する。この層は、ビジュアル的なインパクトが大きいにもかかわらず、比較的少ないエネルギー量を示すので、ベース層からはエネルギーを差し引かない。ゼロに設定すると、クリアコート層は事実上無効化され、そのコストは発生しない。
5.5. スペキュラにおけるFの詳細(Specular F details)
我々の目的において、SchlickのFresnel近似 [1994Schlick, C. 1994. An inexpensive BRDF model for physically-based rendering. Computer Graphics Forum 13, 3, 233–246. https://doi.org/10.1111/1467-8659.1330233. https://wiki.jmonkeyengine.org/docs/3.3/tutorials/_attachments/Schlick94.pdf.] は満足する出来であり、実質的に完全なFresnel式よりも単純である。しかも、近似によって発生する誤差は他の因数に起因する誤差よりも極めて小さい。
ここで、定数は垂直入射におけるスペキュラ反射率を表し、誘電体では無色になり、金属では有色になる(つまり、色付けされる)。実際の値は屈折率に依存する。スペキュラ反射はマイクロファセットに起因する。すなわち、は、表面の法線のなす角ではなく、光のベクトルとマイクロノーマル(つまり、ハーフベクトル)のなす角に依存する。
Fresnel関数は、入射スペキュラ反射率とグレージング角での一体化との(非線形な)補間として見ることができる。その応答はグレージング入射ではすべての光が反射するために無色になることに注意する。
5.6. スペキュラにおけるGの詳細(Specular G details)
我々のモデルでは、複合的なアプローチを取った。Smithのシャドウイング因数が第一のスペキュラで利用できると考えて、WalterによるGGXのGを用いる。ただし、光沢のある表面における極端な増加を抑えるためにラフネスをリマップしている。具体的には、オリジナルのラフネスをからに線形にスケールする。注:これを先に説明したようにラフネスを二乗する前に行う。そして、最終値はとなる。
このリマッピングは、ラフネス値が小さいときにスペキュラが若干”強すぎる”というアーティストによるフィードバックとともに、測定データとの比較に基づいていた。これは、ラフネスにより変化し、少なくとも部分的に物理ベースであり、もっともらしく見えるG関数を与える。クリアコートのスペキュラでは、SmithのGの導出を使わず、ラフネスをの固定値としたGGXのGをそのまま使うと、もっともらしくあり、アーティスト的にも満足すると分かった。
5.7. レイヤリングとパラメータブレンディング(Layering vs parameter blending)
新しいモデルに決めた後は、どうやって我々のシェーダに統合するかを決める必要がある。第一の疑問はどのパラメータが空間的に変化する必要があるかであり、その答えは以下である。アーティストが単純に2つの異なるマテリアルを1つの表面に置いたり、それらの間をマスクしたりしたい場合、すべてのパラメータ間で補間する必要があるだろう。また、そのマスクはフィルタリングされるだろうし、ぼやけたマスクのエッジではマテリアル応答はもっともらしいままでなければならない。
すべてのパラメータが正規化され、少なくとも視覚的には線形である我々のデザイン原則の利点のひとつは、一般的にマテリアルが非常に直観的な方法で補間することである。この例は図19に示されている。
(図19:光沢のある金属質な金と青いゴム、といった非常に異なる2つマテリアルの間の補間結果。我々のモデルを使用している。)
(図20:マテリアルレイヤを示すシェーダエディタのスクリーンショット。マスク式中の変数は空間的に変化するシェーダモジュール、一般的にはテクスチャマップを参照する。)
ロバストに補間できることを実感してからは、マスクを通してすべての空間的な変化を達成できないかと考えるようになった。そのアイデアはアーティストがマテリアルプリセットのリストから選択し、テクスチャマスクを使ってこれらを単純にブレンドすることである。これは、驚くほどうまくいき、ワークフローを大いに単純化し、マテリアルの一貫性を改善し、シェーダ評価を著しく効率的にすることが分かった。我々のシェーダUIを図20に示す。
6. Wreck-It Ralphでのプロダクション経験(Production experience on Wreck-It Ralph)
我々はWreck-It Ralph2で”原則的レイヤ”シェーダを開発し、髪を除く事実上すべてのマテリアルで用いた。(髪については、Tangledで開発したモデルを引き続き使った。)さまざまなマテリアルは図21に見ることができる。この図での床やカーペット、その他粒状のマテリアルに見られるキラキラしたエフェクトを生み出すためにスペキュラ要素に個別の法線を使ったこともあった。
新しいマテリアルモデルと合わせて、我々は、もっともらしいマテリアルを見栄えよくするために重要である、新しいサンプル式エリアライトと画像ベースのライトも導入した。もっともらしい光沢のあるマテリアルを作っても、点光源で照らすと、そのハイライトは小さな点になってしまうし、だからといって、エリアライトの応答に見せかけるためにラフネスを増やすような、マテリアルのプロパティを調整することをライティングアーティストに許すと、物理ベースシェーディングパラダイムを破壊してしまう。ライティングアーティストはエリアライトやIBLを本当に好み、さらには、一貫性のあるマテリアル応答を高く評価している。以前のアドホックなシェーディングモデルではサンプル式ライトの積分を処理する各反射率モジュールが高価過ぎていたため、サンプル式ライトへの切り替えにおいて、新しいマテリアルモデルは、動機付け要因と成功要因の両方であったことも注目に値する。
Wreck-It Ralphにおける成功に基づいて、次の映画は、変更無しで新しいシェーディングモデルを使おうとしている、もしくは、すでにもう使っている。
(図21:Wreck-It Ralphの製品スチル。)
6.1. ルック開発(Look development)
すべてが単一のBRDFを持っていることの利点のひとつは、インタラクティブなマテリアルエディタの開発の単純化である。我々の”Material Designer”は、法線、オブジェクトID、マテリアルレイヤマスクを格納するジオメトリバッファ(もしくは”Gバッファ”)を書き出す。これらのチャネルを用いて、すべてのBRDFパラメータをインタラクティブにイジれるようにしつつ、画像ベースのリライティングを素早く行う。アーティストはリアルタイムでIBLを交換したり、完全な状態でプロダクションモデルにおけるすべてのパラメータとレイヤの完全な効果を確認したりすることができる。
統合モデルのもうひとつの利点は、Material Designerから保存された一連のプリセットからなるとてもシンプルなマテリアルライブラリを備えていることである。マテリアルはライブラリから取り出し、追加のレイヤとしてシェーダに加え、マスクによってブレンドすることができる。レイヤはPhotoshopのレイヤスタックのように素早く組み上げることができる。
マテリアルを十分に見極めるためには、すべての角度から光を当てることが非常に重要である。新しいマテリアルモデルに切り替える一環として、様々なIBLを用いてすべての要素を校正することを始めた。また、すべてのターンテーブルには要素と照明の両方の回転が含まれている。
我々のシェーダシステムの最終結果は、新しいアーティストのトレーニング時間がより短くなったり、高品質な結果の一貫性がより高まったり、ルック開発において生産性を大いに改善した。ルック開発アーティストの大多数は、マテリアルをライティングし直す必要がなくなることにより、早い段階で映像を確認することができるようになった。これは前例のないことであった。
6.2. ライティング(Lighting)
先に言及した通り、新しいマテリアルモデルで動作する、ライティングへの異なるアプローチが必要となった。これは大きな学習曲線が必要になる。過度に物理ベースモデルを損なうことなく、ライティングにアーティストによる制御を追加する挑戦でもある。
ライティングにおける最大の変更点のひとつは、ローカルのフィルライト(補助光源)としてIBLを使うようにしたことである。ほとんどのIBLはあるショットで特定の要素に対するライトリンキング3と一緒に使われ、多くは距離で切り詰められる。これらは、マテリアル特性を大幅に無視する、以前の環境マップに対して大きな改善があった。エリアライトも好評だった。
ライティングアーティストにとっての最大の課題のひとつは、当初は、現実的なライト強度とフォールオフで行うことであった。我々は最終的に、光源を、与えられた距離で望ましい露出を達成する強度に自動的に調整しつつ、事実上より離れているようにする、物理でないフォールオフ制御を開発したが、光強度とフォールオフの制御はライトアーティストの課題として依然として残っている。
ライティングにおけるもうひとつの課題は、スペキュラハイライトがある種のトーンマッピングを今まさに必要としているという事実である。光沢のあるマテリアルでのハイライトは数百に達する可能性があり、単に値をクリッピングすればドギツいハイライトになり、各色チャネルを異なる位置でクリッピングしたようなバンディングが生まれ、その中核が常に白に寄ってしまう。我々は、ほとんどのディスプレイの色領域で値を保持し、色とコントラストを維持したまま上端を減衰させる、新しいグローバルトーンマッピング演算を開発した。ほとんどの場合で合理的に働くデフォルト設定があるが、カラーグレーディングのさいにショット毎に最終調整を行っている。
最終的には、マテリアルは予測通りに動作している。それは、ライティングアーティストに多大な利益をもたらし、物理的にもっともらしくするための出発点となっている。
6.3. 今後の課題(Future work)
現時点での最大の問題点のひとつは、直観的に制御できるサブサーフェスモデルが欠けていることである。これの重要な側面はBRDFの積分である。理想的には、そのBRDFモデルが遠くのオブジェクトで使える程度に同等の結果を達成するくらいには、BRDFとサブサーフェスモデルが一致していて欲しい。また、アーティストは、全体的な露出を変えずに物体へサブサーフェス効果を加えるため、ゼロから平均自由工程を増やすことが可能であるべきである。つまり、単にディフューズ形状を変えるべきである(そして、ディフュージョンが有効ならば、光は影ににじみ出るべきである)。
我々は、布反射率のモデリングを発展させたいと考えている。特に複雑な布モデルに対してキャプチャした反射率データを用いて布をレンダリングするために、特殊なシェーダを追加することができることを理解しているが、布モデルの広い範囲に直接モデリングする方法を調査したいと考えている。とはいえ、この必要性を推進するような映画は今の所は持ち合わせていない。
我々のモデルに玉虫色を追加するよう要望も受けている。これは以前議論したようにスペキュラの色変化を追加するくらいにシンプルにすべきである。
謝辞(Acknowledgments)
- Chuck Tappan: マテリアルパラメータ化の共同開発とルック開発パイプラインの擁護者。
- Christian Eisenacher: Material Designerの開発。
- Greg Nichols: Disney BRDF Viewerの開発。
- Jared Johnson: Disney BRDF Viewerの開発。
- Wreck-It Ralphのルック班とライティング班
- Stephen Hill: 貴重な意見。付録Bの式(14)における射影されたハーフベクトルの定式化に対する提案。
- Haty Hoffman: 貴重な意見。
- Pete Shirley: 貴重な意見。