拙訳「A comparative perceptual study of soft-shadow algorithms」

我々の主な目標は独立変数の管理可能な範囲を探り、ワーストケースのシナリオにおいて徹底的にそれらを調査することであった。特に、我々はソフトシャドウのアルゴリズムが半影の領域の物理的特性をどれだけ上手く捕らえられているかを判断し、半影の差異に可能な限り重きを置く。我々は、それらの半影の近似品質の公正な比較を提示するため、できる限り、選ばれたアルゴリズムの低レベルレンダリングのアーティファクトを回避する。アニメーションの計算は追加の自由度を必要とし、ひとつの研究の範囲内で適切に扱うことが難しいと思われたため、静的なソフトシャドウのみが調査される。我々は、誤ったソフトシャドウの潜在的マスキングを回避するためのシーンのひとつを除いて、すべてでテクスチャを使用しない[Ferwerda et al. 1997Ferwerda, J. A., Shirley, P., Pattanaik, S. N. and Greenberg, D. P. 1997. A model of visual masking for computer graphics. Proceedings of the 24th annual conference on computer graphics and interactive techniques 143–152. 10.1145/258734.258818. https://doi.org/10.1145/258734.258818.]。しかし、我々は、関与する要因に関する展望《outlook》を得るため、我々の研究にテクスチャを伴う現実的なゲーム型のシーンをひとつ含めた。この研究のもうひとつの制限は、各シーンにおいて同じ大きさの1つの光源が使われ、(ゲーム型のシーンを除いて)レンダリングされるイメージにおいて可視であった、ということである。しかし、光源の大きさや形状の違いは｜同じ比率で《by the same factor》シャドウ全体における半影の大きさを変化させるにすぎず、現在の結果はユーザがシャドウにおける相対的な差異、すなわち、半影の変化の仕方をより良く理解していることを示している。

シャドウの知覚はいくつかの心理学研究のトピックであった。Wanger et al.はシャドウがオブジェクトの空間的関係性に対する重要な見た目の手がかりであることを示した[Wanger 1992Wanger, L. 1992. The effect of shadow quality on the perception of spatial relationships in computer generated imagery. Proceedings of the 1992 symposium on interactive 3D graphics 39–42. 10.1145/147156.147161.; Wanger et al. 1992Wanger, L.R., Ferwerda, J.A. and Greenberg, D.P. 1992. Perceiving spatial relationships in computer-generated images. IEEE Computer Graphics and Applications 12, 3, 44–58. 10.1109/38.135913.]。 Knill et al. [1997Knill, D. C., Mamassian, P. and Kersten, D. 1997. Geometry of shadows. Journal of the Optical Society of America A, Optics and Image Science 14, 12, 3216–3232. 10.1364/JOSAA.14.003216. https://opg.optica.org/josaa/abstract.cfm?URI=josaa-14-12-3216.] はシャドウが光源の方向とその下地となる表面の形状に関する情報を提供し得ることを示すことができた。他の研究ではオブジェクトの接触を知覚するためのシャドウの役割[Hu et al. 2000Hu, H.H., Gooch, A.A., Thompson, W.B., Smits, B.E., Rieser, J.J. and Shirley, P. 2000. Visual cues for imminent object contact in realistic virtual environments. Proceedings visualization 2000. VIS 2000 (cat. no.00ch37145) 179–185. 10.1109/VISUAL.2000.885692.]や相互反射[Madison et al. 2001Madison, C., Thompson, W., Kersten, D., Shirley, P. and Smits, B. 2001. Use of interreflection and shadow for surface contact. Perception & Psychophysics 63, 2, 187–194. 10.3758/BF03194461.]に焦点を当てた。 Jarabo et al. [2012Jarabo, A., Eyck, T. V., Sundstedt, V., Bala, K., Gutierrez, D. and O'Sullivan, C. 2012. Crowd light: Evaluating the perceived fidelity of illuminated dynamic scenes. Computer Graphics Forum 31, 2pt3, 565–574. 10.1111/j.1467-8659.2012.03057.x. https://graphics.unizar.es/projects/crowdsEG12/downloads/crowdlight_pres_eg12.pdf.] はジオメトリの複雑さや色のような要因が動的な群衆を伴う仮想シーンにおいて照明の知覚的忠実性にどれだけ影響を与えるかを評価した。

人間の感受性が低いが故により低品質のシャドウで十分である所の領域におけるソフトシャドウレンダリングを高速化する方法についての以前の研究があった[Sattler et al. 2005Sattler, M., Sarlette, R., Mücken, T. and Klein, R. 2005. Exploitation of human shadow perception for fast shadow rendering. Proceedings of the 2nd symposium on applied perception in graphics and visualization 131–134. 10.1145/1080402.1080426. https://cg.cs.uni-bonn.de/backend/v1/files/publications/sattler-2005-exploitation.pdf.; Vangorp et al. 2006Vangorp, P., Dumont, O., Lenaerts, T. and Dutré, P. 2006. A perceptual heuristic for shadow computation in photo-realistic images. ACM SIGGRAPH 2006 sketches 102–es. 10.1145/1179849.1179977. https://graphics.cs.kuleuven.be/publications/PHSC/.; Schwarz and Stamminger 2008Schwarz, M. and Stamminger, M. 2008. Quality scalability of soft shadow mapping. Proceedings of graphics interface 2008 147–154. https://michael-schwarz.com/research/publ/files/qsssm-gi08.pdf.]。しかし、これらの研究は特定の種類のアルゴリズムのスケーリングの問題を対処するので補足的である。それに対し、我々は別個の種類のソフトシャドウアルゴリズムの知覚を比較すること、および、様々なソフトシャドウの特徴を扱うことが知覚的品質を向上させるかどうかに関する研究を提供する。

コンピュータグラフィックスは科学として成熟してきているので、コースティクス[Gutierrez et al. 2008Gutierrez, D., Seron, F. J., Lopez-Moreno, J., Sanchez, M. P., Fandos, J. and Reinhard, E. 2008. Depicting procedural caustics in single images. ACM Trans. Graph. 27, 5. 10.1145/1409060.1409073. https://graphics.unizar.es/papers/sAsia08_caustics_LR.pdf.]、トーンマッピング[Ledda et al. 2005Ledda, P., Chalmers, A., Troscianko, T. and Seetzen, H. 2005. Evaluation of tone mapping operators using a High Dynamic Range display. ACM SIGGRAPH 2005 papers 640–648. 10.1145/1186822.1073242. https://helgeseetzen.com/wp-content/uploads/2017/06/HS1.pdf.]、幾何的な歪み[Setyawan and Lagendijk 2004Setyawan, I. and Lagendijk, R. L. 2004. Human perception of geometric distortions in images. Security, steganography, and watermarking of multimedia contents VI 5306, 256 – 267. 10.1117/12.526726.]、image-retargetingアルゴリズム[Rubinstein et al. 2010Rubinstein, M., Gutierrez, D., Sorkine, O. and Shamir, A. 2010. A comparative study of image retargeting. ACM Trans. Graph. 29, 6. 10.1145/1882261.1866186. https://people.csail.mit.edu/mrub/papers/retBenchmark.pdf.]、大域照明[Čadík et al. 2012Čadík, M., Herzog, R., Mantiuk, R., Myszkowski, K. and Seidel, H.-P. 2012. New measurements reveal weaknesses of image quality metrics in evaluating graphics artifacts. ACM Trans. Graph. 31, 6. 10.1145/2366145.2366166. https://resources.mpi-inf.mpg.de/hdr/iqm-evaluation/cadik12iqm_evaluation.pdf.]のような包括的な知覚的研究における様々なグラフィクス的効果の利点を評価することの興味はますます高まっている。我々の研究の構造はこれらの研究に本質的に関連しており、我々は以下に関する差異、および、類似性を議論する。

Ledda et al. [2005Ledda, P., Chalmers, A., Troscianko, T. and Seetzen, H. 2005. Evaluation of tone mapping operators using a High Dynamic Range display. ACM SIGGRAPH 2005 papers 640–648. 10.1145/1186822.1073242. https://helgeseetzen.com/wp-content/uploads/2017/06/HS1.pdf.] の実験では、被験者《participant》に対して2つのLCDモニタ上で異なるトーンマッピング・オペレータによって生成されるLDR画像を示し、一方で、参考解としてHDRモニタ上でオリジナルの画像を示した。このアプローチはアルゴリズム処理のパフォーマンスが最適解《optimal solution》に対してテストされなければならず、刺激《stimulus》がどのように見えるべきかを被験者が厳密に知っている所のワーストケースのシナリオをもたらすときに有用である。Ledda et al.とは対照的に、 Rubinstein et al. [2010Rubinstein, M., Gutierrez, D., Sorkine, O. and Shamir, A. 2010. A comparative study of image retargeting. ACM Trans. Graph. 29, 6. 10.1145/1882261.1866186. https://people.csail.mit.edu/mrub/papers/retBenchmark.pdf.] の大規模なユーザスタディは参考解を提供しない一対比較を用いる。

我々の研究において、我々は、まず参考解ありで行い、その後、参考解なしで行うという両方のシナリオを含める。そして、これらを用いてソフトシャドウアルゴリズムを評価するためのユーザの専門知識の異なる度合いを模倣する。これは、大域照明とレンダリングアーティファクトの検出のために画像品質メトリクスを計算する、 Čadík et al. [2012Čadík, M., Herzog, R., Mantiuk, R., Myszkowski, K. and Seidel, H.-P. 2012. New measurements reveal weaknesses of image quality metrics in evaluating graphics artifacts. ACM Trans. Graph. 31, 6. 10.1145/2366145.2366166. https://resources.mpi-inf.mpg.de/hdr/iqm-evaluation/cadik12iqm_evaluation.pdf.] と同種のものである。これらの2つのフェーズに加えて、我々はもうひとつの研究フェーズにおいて参考解を示してから達成される学習効果を研究する。また、参考解なしでも行う。

レンダリング手法の知覚を研究するための興味深い代替手法は、もっともらしい大域照明を生成するために可視性の計算において必要となる正確性を調査した Yu et al. [2009Yu, I., Cox, A., Kim, M. H., Ritschel, T., Grosch, T., Dachsbacher, C. and Kautz, J. 2009. Perceptual influence of approximate visibility in indirect illumination. ACM Trans. Appl. Percept. 6, 4. 10.1145/1609967.1609971. https://jankautz.com/publications/indirectvisibility_apgv09.pdf.] によって用いられた。彼らはいわゆるpaired comparison plus category [Scheffé 1952Scheffé, H. 1952. An Analysis of Variance for Paired Comparisons. Journal of the American Statistical Association 47, 259, 381–400. 10.1080/01621459.1952.10501179.]のパラダイムを用いた。｜好み《preference》を答えるのではなく、参加者は類似性の高低を範囲とする事前に定義されたカテゴリの尺度で2つの画像の類似性を採点した。我々の研究でも同様に類似性の推定を得るため、我々は評価に中立的な回答の数を組み込む。

Setyawan and Lagendijk [2004Setyawan, I. and Lagendijk, R. L. 2004. Human perception of geometric distortions in images. Security, steganography, and watermarking of multimedia contents VI 5306, 256 – 267. 10.1117/12.526726.] は一人の被験者の回答の質とすべての被験者の間の合意を解析する。我々は被験者のパフォーマンスや学習フェーズが効果的だったかどうかを評価するために我々の研究にこの概念を採用した。 Akyüz et al. [2007Akyüz, A. O., Fleming, R., Riecke, B. E., Reinhard, E. and Bülthoff, H. H. 2007. Do HDR displays support LDR content? a psychophysical evaluation. ACM Trans. Graph. 26, 3, 38–es. 10.1145/1276377.1276425. https://user.ceng.metu.edu.tr/~akyuz/files/hdrdisplay.pdf.] に従い、我々はTukeyのHSD法[Steel et al. 1997Steel, R. G. D., Torrie, J. H. and Dickey, D. A. 1997. Principles and procedures of statistics : a biometrical approach.]を用いて、有意差を計測できなかったアルゴリズムのグループを見つけ出し、それ故に、それらを匹敵する品質であると判断した。その成果《outcome》に関して実験の効果をより良く評価および理解するため、我々はdegree of indifferenceと表記する新しい量を導入し(詳細は節7で説明される)、一対比較の結果からworth parameters[Hatzinger and Dittrich 2012Hatzinger, R. and Dittrich, R. 2012. prefmod: An R Package for Modeling Preferences Based on Paired Comparisons, Rankings, or Ratings. Journal of Statistical Software 48, 10, 1–31. 10.18637/jss.v048.i10. https://www.jstatsoft.org/article/view/v048i10.]を計算する。

我々はソフトシャドウアルゴリズム間の品質差を引き起こすソフトシャドウの2つの特性を識別した。1つ目は複数のシャドウキャスタの場合でのpenumbra overlapsであり、これは経験的モデルを用いて誤魔化すのが難しい複合的なシャドウイング効果を引き起こし得る(例えば、正しいオクルーダの融合)。2つ目はpenumbra softeningであり、シャドウキャスタの点とシャドウレシーバにある対応する点との間の距離がシャドウをキャストしている表面に沿った十分な変化を持つときに発生する(例えば、図2における薄いオクルーダの上と下の点を考える)。図2はこれら2つの特性に関して、使用したシャドウアルゴリズムすべての間の見た目の差異がある状況を示している。両方の現象はシーン中にあったりなかったりするので、結果として半影カテゴリとして示される4つの取り得る組み合わせとなる。これらの効果がいずれもない場合、ソフトシャドウアルゴリズムは基本的に区別できない。

この研究のもうひとつの目標は異なるユーザ体験レベルでのソフトシャドウ近似の知覚を評価することである。我々は3つの経験レベルを評価する複数のフェーズを設計することによって被験者が研究中に得る知識を使うことを選択した。この設計は典型的なユーザの学習の振る舞いを研究することができるという追加の利点を持つ。具体的には、各ユーザは3つの連続するフェーズに参加する。第1フェーズでは、我々は未経験者から期待されるソフトシャドウ近似を区別する能力を、第2フェーズでは、熟達者から期待される最大限の能力を、第3フェーズでは、経験者のパフォーマンスを計測する。これらのフェーズは節6においてその詳細が説明される。加えて、我々は同一条件下で同じ実験を行ったソフトシャドウの専門家のグループを含めた。

有意義な結果を生み出すため、我々は選ばれたシーンのセットにおいて様々なオブジェクトおよびシャドウの複雑さを含める必要がある。具体的に、我々は多種多様な取り得るシーン構成を含めるために 系統的《systematic》 であることを我々の研究に欲している。しかし、シーン中のオブジェクト数、それら個々の複雑さ、それらの配置のようなシャドウ知覚に影響を与え得る多くの要因がある。その課題《challenge》は、すべての要因の組み合わせを調査するときの｜次元の呪い《curse of dimensionality》を回避しつつ、実践で遭遇する最も可能性のあるシーン構成を系統的に含める小さなカテゴリのセットを見つけることであった。選択されるシーンカテゴリは以下である。

Simple Objects。シーンは箱や円柱のような単純な普通《regular》のオブジェクトで構成される。これは、ユーザが最終的なシャドウ形状についての最も強い理解《conception》を持つはずであるので、重要な極限のケースである。ほとんどの複合的なオブジェクトはこれらの基本的な構成要素から構築できる。アプリケーションでは、そのようなオブジェクトは、例えば、屋根のない家や都市環境における柱を表現するのに使われる。

Complex Objects。複合的オブジェクトはより複合的な配置を形成する最初のカテゴリからのオブジェクトの集まりであり、あまり多くの規則性を示さない。

Structured Objects。構造的オブジェクトは、1または2次元における並進対称性《translational symmetry》のような[Pauly et al. 2008Pauly, M., Mitra, N. J., Wallner, J., Pottmann, H. and Guibas, L. J. 2008. Discovering structural regularity in 3D geometry. ACM Trans. Graph. 27, 3, 1–11. 10.1145/1360612.1360642. https://www.geometrie.tugraz.at/wallner/structure.pdf.]、高いレベルの規則性と対称性を示す。例えば、フェンスは1次元において箱が規則的に配置されたものとして、フェンスの横木《crossbar》はその垂直な次元において箱が規則的に整列したものとして示すことができる。これを別のカテゴリとして持つことは、人間がシャドウにおいても構造を識別するであろうことから、必要不可欠である。加えて、規則的な部分はそれらのシャドウが別の存在《entity》に属するものとして知覚されないように繋がっていなければならない。

Vegetation。Vegetationは葉っぱのようなより小さなオブジェクトの不規則で一見すると無作為な配置を示す。ここでは、葉っぱの密度のような統計的な特性は個々のプリミティブより重要となる。我々は、観測者がシャドウとシャドウキャスタを比較するのに使える規則性の最小量のために別の極端なケースを構成するので、別個のカテゴリとしてこれを選んだ。また、それは、高度に複合的な輪郭により、ソフトシャドウ近似に対する困難なケースを構成する。

被験者に実際に提示する構成へと至るために、我々はシーンと半影カテゴリを単純に組み合わせると16つの異なる組み合わせが得られるであろうことに｜着目する《observe》。しかし、いくつかの特例がある。フェンス、格子、植木《plant》では、penumbra overlapは、そのようなオブジェクトの個々の部分が繋がっていなければならないので、常に発生するだろう。一般的に、これは木々のような無作為なオブジェクトに対しても真であり、取り得る組み合わせを12に減らす。最終的に、より少ない人工的な設定も調査するため、我々は、平らでない表面に部分的にキャストされるsofteningおよびoverlappingする半影を伴う、もうひとつのカテゴリ(ゲームシーン)を追加し、結果として合計13つの組み合わせとした。我々は2つの異なるシーンによってこれらの組み合わせのそれぞれを表現し、全体で26つのテストシーンに至る。図4はこれらのシーンの選択を示し、半影(行)とシーンカテゴリ(列)によってそれらを分類する。

その他のシーン特徴。追加のサンプリング次元を導入できなかった変数ごとに、我々は、ほとんどの場合で”ワーストケース”となる条件、すなわち、ユーザがソフトシャドウの不正確さに最も敏感となる所の条件に対応する構成を用いることを決定した。ここでは、静的なビュー条件を用いることで徹底的にシャドウを調査する能力を最大化する。シャドウを受けるジオメトリとしての平坦な白い表面はマスキング効果なしにシャドウ特性の最適な知覚を可能にする。シャドウをキャストするライトに対して白色を用いることはシャドウのコントラストを最大化する。さらに、我々はユーザのこれらのジオメトリの認識を促進するためにシャドウをキャストするオブジェクトの可塑性《plasticity》を増加させた。これは商用のオフラインレンダラによるアンビエントオクルージョン、および、ピクセル毎に基づくディフューズシェーディングを計算することによって達成された。異なるオブジェクトの区別を強調するため、シャドウをキャストするオブジェクトは｜原色および二次色《primary and secondary colors》 (赤、黄、など)で質感を持たせた。距離の知覚は白色のシャドウを受ける範囲を囲む領域に対してチェッカーボードテクスチャを用いることによって促進させた。心地良いが真面目な空気《atmosphere》を生成するため、アンビエント光が有効化され、背景はライトブルーで色付けされた。

被験者は各試験で2つの画像を確認し、シーンの床にキャストされるソフトシャドウを判断することによって比較しなければならないであろうことを｜指示された《instructed》。彼らは画像が同一である可能性があること知らされた。彼らはシャドウを生成する光源がその個々の位置で黄色の四角として可視化される範囲光源であることを告げられた。各｜被験者《test subject》は明示された順序で3つすべてのフェーズに参加しなければならなかった(図5)。

フェーズ1。このフェーズでは、初期未経験者《initially inexperienced user》は参考を含まずに異なるシャドウアルゴリズムでレンダリングされた2つの画像を比較しなければならなかった。被験者はソフトシャドウがより良く見えると考える方の画像を選択するよう頼まれた。我々は、この方が未経験者にとって”物理的によりもっともらしい”ソフトシャドウを選択するよう頼むより直観的であると事前調査《pilot testing》で気づいたので、この質問を選択した。

フェーズ2。第2フェーズでは、比較される画像のペアの上部に参考画像が示された。被験者はこれが物理的に正しいシミュレーションであることを告げられた。そして、彼らはその参考の下にある2つの画像のどちらが物理的によりもっともらしいソフトシャドウを持つかを判断するよう頼まれた。

フェーズ3。最終フェーズでは、比較作業が参考なしで再び行われた。被験者は、両群全体で均等に分けられた男女を持つ、2つのグループに分けられた。グループAはフェーズ1におけるものと同じ質問を受け(どちらのシャドウがよく見えるか)、グループBはフェーズ2におけるものと同じ質問を受けた(どちらのシャドウが物理的によりもっともらしいか)。

回答はスライダーで与えられた。ここでは、被験者らはペアの左または右の画像に対する優先傾向の度合いを点数化できた。スライダーは連続的な尺度を持った。左および右の端には、対応する画像に対する明らかな優先傾向を定義するようにラベルが置かれた。両画像の間に位置するスライダーの中心には、優先傾向なしのマークがあった。

2AFC設計に対する決定は2つのアルゴリズムの結果の間の実際の知覚可能な差異が小さかった場合に対する我々の懸念によって動機付けされた。これらの場合、中立的な選択肢は、結果の一貫性を低下させる矛盾する回答を引き起こす調査対象外の要因(例えば、鋭いエッジに対する一般的な優先傾向)に基づく強制的な決定を回避する。さらに、中立的な回答を数えることは特定のシーンカテゴリおいて比較されるアルゴリズムの品質での知覚される類似性に対する基準《measure》をもたらす(節7を参照)。

連続的な回答尺度は中立的またはほぼ中立的な回答が支配的になる問題を減らすために順序《ordinal》的なものの代わりに選ばれたことに注意する。その連続的尺度は被験者に優先傾向の大きさを指定することと錯覚させるはずであるのに対して、そのデータは最終的に順序尺度で解析された(“left preferred”、“no preference”、“right preferred”)。

比較には時間制限はなかった。次の試験は前のものの回答の後に開始され、2秒間白い背景に黒いfixation cross³を先行して表示させた。

半影とシーンのカテゴリの組み合わせ13つと、4つのソフトシャドウアルゴリズムの取り得るペアリングの組み合わせ$\left( \begin{array}{c} 4 \\ 2 \end{array} \right) = 6$つは被験者あたり78つの一対比較をもたらす。これに対して、我々は半影とシーンの組み合わせごとに無作為に選ばれたアルゴリズムでレンダリングされた同一の画像のペアを1つ追加し、合計91つの画像ペアをもたらす。同一の画像ペアは被験者の回答の基準値《baseline》と同一画像ペア条件に対する一致性《agreement》を得るために使われた。

それぞれの半影とシーンの組み合わせにおける最小の種類を得るため、我々は13つの組み合わせのそれぞれに対して2つのシーンを生成した。これは、異なる配置または異なるモデルによって得られた。実験で使われるすべての画像は4つのソフトシャドウアルゴリズムを伴う各シーンをレンダリングすることによってオフラインで生成された。4つすべての手法は32ビットの浮動小数点精度を持つ$1024^2$ピクセルのシャドウマップを活用した。光源の色および強度やアンビエント項のようないくつかの構成はすべてのレンダリング手法で等しいままであった。ほかのレンダリングパラメータはレンダリング画像ができる限りground truthに似るように調整された。

時間に関連する効果を相殺するため、すべての被験者はすべてのフェーズを通して個別に無作為化された順序で画像ペアを見た。各比較ペアの画像は左か右の位置に無作為に割り当てられた。フェーズ1では、被験者はカテゴリごとに我々が作成した2つのシーンの内の1つを見、フェーズ2では、残り一方を見た。どのフェーズでシーンのどちらが選択されたかもまたカテゴリや被験者ごとに無作為に決定された。フェーズ3では、画像ペアはカテゴリの両方のシーンに対して、被験者が第1フェーズでのシーンの50%と第2フェーズでのシーンの50%をそれぞれ見るように、無作為に選び取られた。