Rapport de stage de Magistère Mathématiques et Applications de Lyon 2ème année

Conjecture d’Oppenheim et flots

unipotents sur les espaces homogènes

François MAUCOURANT - ENSL

Directeur de Stage : Patrick FOULON - IRMA

Juin-juillet 1997

IRMA - 7 Rue René Descartes 67064 Strasbourg

1 La conjecture d’Oppenheim

1.1 Enoncé du théorème

1.1.1 Petit historique

Rappelons le célèbre théorème de Meyer :

Théorème 1.1 (Meyer) Soit Q une forme quadratique indéfinie en n variables, à coefficients rationnels, non dégénérée. Si n ≥ 5, alors :

∃x ∈ Z^{n}, Q(x) = 0

Par analogie, Oppenheim conjecture en 1929 [19] le théorème suivant :

Conjecture 1.2 (Oppenheim 1) Soit Q une forme quadratique indéfinie en n variables, non dégénérée et non proportionnelle à une forme à coefficients rationnels. Alors, si n ≥ 5,

∀ϵ > 0, ∃x ∈ Z^{n}, |Q(x)| < ϵ

Ce résultat est démontré en 1934 par Chowla [2] dans le cas où Q est de la forme Q(x_{1}, .., x_{9}) = λ_{1}x_{1}^{2} + .. + λ_{9}x_{9}^{2}, puis en 1946 par Davenport et Heilbronn [9] pour des formes du même type à 5 variables seulement. En 1958, Davenport, Ridout et Birch démontrent la conjecture dans le cas général avec n ≥ 21 [10]. Plus récemment, Margulis démontre en 1986 [17],[16],[18] cette conjecture pour n ≥ 3, ce qui est un résultat optimal (cf en annexe 5.4), mais alors que les démonstrations antérieures se basaient sur des méthodes de théorie analytique des nombres et de théorie de la réduction, Margulis obtient ce résultat en étudiant les SO(2, 1)-orbites sur SL_{3}(IR)/SL_{3}(Z). Avec Dani, il obtient par la suite plusieurs versions plus fortes [5],[6]; en particulier :

Conjecture 1.3 (Oppenheim 2) Soit Q une forme quadratique indéfinie en n variables, non dégénérée et non proportionnelle à une forme à coefficients rationnels. Alors, si n ≥ 3,

∀ϵ > 0, ∃x ∈ Z^{n}, 0 < |Q(x)| < ϵ

Oppenheim note que cette conjecture entraine que Q(Z^{n}) est dense dans IR - on trouvera une démonstration de ce fait dans [14]. On exposera dans la suite une démonstration élémentaire parue dans [5] du théorème - encore plus fort - suivant :

Théorème 1.4 Soit Q une forme quadratique indéfinie en n variables (n ≥ 3), non dégénérée et non proportionnelle à une forme à coefficients rationnels. Alors si P désigne l’ensemble des vecteurs primitifs de Z^{n} (c-à-d dont le pgcd des coordonnées est 1), on a :

\overline{Q(P)} = IR

L’esquisse d’une démonstration moins élémentaire ( utilisant en particulier les résultats récents de M. Ratner [21] ) sera donnée en annexe 5.5. Il est à noter que d’autres résultats ont également été obtenus, toujours en rapport avec les formes quadratiques indéfinies aux points entiers, cf annexe 5.6.

Pour démontrer le théorème, il suffit de se restreindre au cas n = 3 (cf Annexe 5.1); dans la suite on supposera donc que n = 3.

2 L’espace des réseaux

On note G = SL(3, IR), Γ = SL(3, Z),et Ω l’espace des réseaux unimodulaires de IR^{3}, c’est à dire G/Γ. C’est un espace homogène de G. On notera 𝔤 l’algèbre de lie de G.

2.1 Lien avec la conjecture d’Oppenheim

On pose Q_{0}(x, y, z) = 2xz − y^{2}, Q_{1}(x, y, z) = z^{2}, et soit H les sous-groupe de G qui laisse Q_{0} invariant, soit :

H = {g ∈ G/^{t}gσ_{0}g = σ_{0}}

Avec :

σ_{0} = [ \begin{matrix}0 & 0 & 1 \\ 0 & −1 & 0 \\ 1 & 0 & 0 \end{matrix} ]

On peut supposer, quitte à prendre −Q, que Q est de signature (1, 2). Alors on sait qu’il existe g ∈ GL_{3}(IR) tel que q =^{t}gσ_{0}g, où q est la matrice de la forme quadratique Q. Quitte à diviser Q par une constante positive, on peut également supposer det(g) = 1. Alors g^{−1}Hg est le sous-groupe de G qui laisse Q invariant. On remarque que P est invariant sous l’action de Γ. Or :

Q(\overline{g^{−1}HgΓ}P) = Q_{0}(\overline{HgΓ}P) ⊂ \overline{Q_{0}(HgΓP)} = \overline{Q(P)}

L’idée de la démonstration est de montrer que l’on a ”suffisamment” d’éléments dans l’adhérence de l’orbite HgΓ; on observera notamment que si Q n’est pas proportionnelle à une forme rationnelle, alors cette orbite n’est pas fermée. En d’autres termes, le problème est ramené à l’étude des H-orbites sur Ω.

2.2 Etude du groupe H

H est un groupe de Lie fermé dans G de dimension 3, son algèbre de Lie 𝔥 étant engendrée par les éléments δ, ν et ^{t}ν où :

δ = [ \begin{matrix}1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & −1 \end{matrix} ]

ν = [ \begin{matrix}0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{matrix} ]

Introduisons les groupes à un paramètre :

D = {exp(tδ) = diag(exp(t), 1, exp(−t))}_{t∈IR}

V_{1} = \{exp(tν) = v_{1}(t) = [ \begin{matrix}1 & t & \frac{t^{2}}{2} \\ 0 & 1 & t \\ 0 & 0 & 1 \end{matrix} ]\}_{t∈IR}

V_{2} = \{exp(tν^{2}) = v_{2}(t) = [ \begin{matrix}1 & 0 & t \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix} ]\}_{t∈IR}

D et V_{1} sont des sous-groupes de H, DV_{1} est un sous-groupe fermé connexe de H et V_{1} et V_{2} sont évidemment unipotents. On note, pour ϵ = ±1, V_{2}^{ϵ} = {v_{2}(t)|ϵt ≥ 0}. On note encore, pour t ≠ 0

d(t) = diag(t, 1, 1/t)

et on a donc D = {d(t)/t > 0}. On pose encore V = V_{1}V_{2} qui est un groupe abélien connexe fermé, et ainsi DV est un groupe car les éléments de D normalisent V_{1} et V_{2}. On introduit également le sous-groupe compact:

𝔎 = O(3) ∩ H,

Où O(3) est le groupe orthogonal pour le produit scalaire usuel.

Proposition 2.1 H =𝔎DV_{1}

Preuve Faisons agir H sur S^{2} par

h.x = \frac{h(x)}{||h(x)||}

Cette action est continue, et l’intersection (compacte) cône-sphère C = {x ∈ S^{2}|Q_{0}(x) = 0} est H-invariante. On voit que C est l’intersection de la sphère avec les hyperplans affines d’équations x + z = 1 et x + z = −1, c’est à dire deux cercles disjoints. Pour x = (α, β, γ) ∈ C, on pose ϵ = α + γ ∈ {−1; +1}, et on définit :

k_{0}(x) = [ \begin{matrix}α & −ϵβ & γ \\ β & −2ϵγ + 1 & −β \\ γ & ϵβ & α \end{matrix} ]

.

On vérifie, après un calcul élémentaire utilisant les relations α^{2} + β^{2} + γ^{2} = 1, 2αγ − β^{2} = 0 et α + γ = ϵ, que k_{0}(x) ∈ 𝔎, c’est à dire ^{t}k_{0}(x)k_{0}(x) = I et tk_{0}(x)σ_{0}k_{0}(x) = σ_{0}. 𝔎 est un compact contenant k_{0}(x) pour tout x ∈ C. On calcule facilement que 𝔎∩DV_{1} = {I} et Stab(e_{1}) = DV_{1}, et que k_{0}(x).e_{1} = x. Donc 𝔎= {k_{0}(x)|x ∈ C}, et si h ∈ H, on a k_{0}(h.e_{1})^{−1}h ∈ DV_{1} car e_{1} est invariant par k_{0}(h.e_{1})^{−1}h. D’où le résultat.

2.3 Quelques propriétés utiles des groupes considérés

On utilisera à plusieurs reprises le fait que pour tout x ∈ IR^{3},

Q_{0}(v_{2}(t)x) = Q_{0}(x) + 2tQ_{1}(x),

et on remarque que, pour t ≠ 0 et s ∈ IR, d(t)v_{1}(s) = v_{1}(st)d(t) et que d(t)v_{2}(s) = v_{2}(st^{2})d(t).

Lemme 2.2 (Classification des sous-groupes discrets de DV) Soit Δ un sousgroupe discret de DV. Alors soit Δ ⊂ V, soit Δ = {wd^{n}w^{−1}}_{n∈Z} pour un certain w ∈ V et un certain d ∈ D − {I}.

Preuve Supposons que Δ n’est pas inclus dans V. Soit d(u)v_{1}(t)v_{2}(s) un élément de Δ − V, donc u ≠ 1. On vérifie que : d(u)v_{1}(t)v_{2}(s) = wd(u)w^{−1}, pour

w = v_{1}(\frac{ut}{1 − u})v_{2}(\frac{u^{2}s}{1 − u^{2}} ),

en utilisant les formules précédentes. Soit Δ′ = w^{−1}Δw, c’est un sous-groupe discret de DV contenant d(u). Soit d(u′)v_{1}(t′)v_{2}(s′) ∈ Δ′, alors pour n ∈ Z,

Δ′ ∋ d(u^{n})d(u′)v_{1}(t′)v_{2}(s′)d(u^{−n}) = d(u′)v_{1}(t′u^{n})v_{2}(s′u^{2n}).

Notons g_{n} cet élément de Δ′. Si u > 1, g_{n} → d(u′) lorsque n → −∞, si u < 1, g_{n} → d(u′) losrque n → −∞. Dans les deux cas, comme Δ′ est discret, on en conclut que t′ = s′ = 0, et donc Δ′ ⊂ D. Mais les sous-groupes discrets de D sont monogènes, ce qui achève la démonstration.

Proposition 2.3 Soit h ∈ H et v ∈ V_{2} − {I} tels que vh ∈ HV_{2}. Alors h est triangulaire supérieure. De plus, toute matrice triangulaire supérieure de H à diagonale positive est dans DV_{1}.

Preuve On a v_{2}(t)h = h′v_{2}(s) pour t ≠ 0 et un certain s ∈ IR, h′ ∈ H. Donc Q_{0}(x) + 2tQ_{1}(hx) = Q_{0}(x) + 2sQ_{1}(x), pour tout x ∈ IR^{3}, d’où Q_{1}(hx) = s/tQ_{1}(x). Q_{1}(h(V ect(e_{1}, e_{2}))) = 0 donc h(e_{1}), h(e_{2}) ∈ V ect(e_{1}, e_{2}). Si h(e_{1}) = αe_{1} + βe_{2}, 0 = Q_{0}(h(e_{1})) = β^{2}. Donc h est triangulaire supérieure. La seconde assertion découle d’un simple calcul matriciel.

2.4 Théorèmes sur les flots unipotents

Pour obtenir des résultats sur les H-orbites, nous allons utiliser une description des flots unipotents qui nous donnera des informations sur le comportement des V_{1}-orbites.

Les démonstrations des deux théorèmes suivants, assez techniques et peu en rapport avec le reste de la preuve d’Oppenheim, sont esquissées en annexe 5.3. Si Δ est un sous-groupe discret de IR^{n}, on note Δ_{IR} l’espace vectoriel réel engendré et cov(Δ) le covolume de Δ dans Δ_{IR} (cf Annexe pour la définition du covolume).

Théorème 2.4 (Lemme de Margulis) Soit n ≥ 2. Soit {u(t)}_{t∈IR} ⊂ G un sousgroupe unipotent, et x ∈ Ω. Alors il existe un compact K ⊂ Ω tel que {t ≥ 0|u(t)x ∈ K} n’est pas borné.

Théorème 2.5 (version ”uniforme” du lemme de Margulis) Soit n ≥ 2. Pour tout σ > 0, il existe un compact K ⊂ Ω tel que pour tout x = gΓ ∈ Ω et tout groupe unipotent à un paramètre {u(t)}_{t∈IR} ⊂ G, on est dans un des deux cas suivants :

1. ∀T ≥ 0, ∃t ≥ T tel que u(t)x ∈ K.

2. Il existe Δ un sous-groupe non trivial de Z^{n} tel que Δ_{IR} est {g^{−1}u(t)g}- invariant et cov(gΔ) < σ.

3 Etude des H-orbites

3.1 Application des résultats sur les groupes unipotents

Le ”lemme de Margulis uniforme” permet d’obtenir une description des DV_{1}- orbites et des V_{1}-orbites.

3.1.1 Etude des DV_{1}-orbites

Lemme 3.1 Il existe un compact K ⊂ Ω tel que pour tout x ∈ Ω, il existe λ_{0}, tel que pour tout λ ≥ λ_{0}, {t ≥ 0|v_{1}(t)d(λ)x ∈ K} n’est pas borné.

Preuve Soit x = gΓ, on pose : λ_{0} = max{1, 1/cov(gZ^{3}∩V ect(e_{1})), 1/cov(gZ^{3}∩V ect(e_{1}, e_{2})}. Soit λ ≥ λ_{0}. D’après la version uniforme du lemme de Margulis, il existe un compact K ⊂ Ω pour σ = 1, tel que, soit {t ≥ 0|v_{1}(t)d(λ)x ∈ K} n’est pas borné, soit il existe Δ un sous-groupe discret non trivial de Z^{3} tel que Δ_{IR} soit g^{−1}d(1/λ)V_{1}d(λ)g = g^{−1}V_{1}g-invariant, et cov(d(λ)gΔ) < 1.

(d(λ)gΔ_{IR}) est donc un espace V_{1}-invariant, mais un calcul facile montre que V ect(e_{1}) et V ect(e_{1}, e_{2}) sont les seuls espaces non triviaux V_{1}-invariant. Si d(λ)gΔ_{IR} = V ect(e_{1}) ou V ect(e_{1}, e_{2}), on a cov(d(λ)gΔ) = λcov(gΔ) ≥ λ_{0}cov(gΔ) ≥ 1 par le choix de λ_{0}. Si d(λ)gΔ_{IR} = IR^{3}, cov(d(λ)gΔ) = 1. Dans tous les cas, cov(d(λ)gΔ) ≥ 1 et donc on est dans le premier cas du lemme de Margulis uniforme.

Proposition 3.2 Tout ensemble X ⊂ Ω fermé qui est DV_{1}-invariant contient un ensemble DV_{1}-invariant minimal non vide.

Preuve Il suffit d’appliquer le lemme de Zorn à l’ensemble des ensembles fermés DV_{1}- invariants, ordonnés par inclusion. Il faut vérifier que si l’on a (X_{i})_{i∈I} une famille totalement ordonnée, elle admet une borne inférieure. Mais ∩_{i∈I}(X_{i} ∩K) ⊂ ∩_{i∈I}X_{i}, le premier ensemble étant une intersection décroissante de compacts non vides par le lemme, est non vide, et donc le second ensemble est non vide et DV_{1}-invariant.

Proposition 3.3 Aucune DV_{1}-orbite n’est fermée.

Preuve Par l’absurde. Soit x ∈ Ω tel que DV_{1}x est une orbite fermée. Soit Δ = (DV_{1} ∩ xΓx^{−1}) = {g ∈ DV_{1}|gx = x}. Alors

θ : DV_{1}/Δ → DV_{1}x
gΔ ↦ gx

est un homéomorphisme. Par la classification des sous-groupes discrets de DV, on sait que, soit Δ ⊂ V_{1}, soit Δ = {vd^{n}v^{−1}}_{n∈Z} pour un certain v ∈ V_{1} et d ∈ D. Quitte à intersecter le compact K définit précédemment avec le fermé DV_{1}x, on peut supposer K ⊂ DV_{1}x, et notons K_{1} = θ^{−1}(K) qui est compact et qui vérifie pour λ ≥ λ_{0}, {t ≥ 0|v_{1}(t)d(λ)Δ ∈ K_{1}} n’est pas borné. Si Δ ⊂ V_{1}, on peut trouver (t_{i})_{i∈N} une suite de réels positifs tels que {v_{1}(t_{i})d(λ_{0} + i)Δ}_{i∈N} ⊂ K_{1}, mais on calcule qu’une telle suite n’admet pas de valeurs d’adhérence dans DV_{1}/Δ. Contradiction. De même, si Δ = {vd^{n}v^{−1}}_{n∈Z} pour un certain v ∈ V_{1} et d ∈ D, en prenant une suite t_{i} → +∞ telle que {v_{1}(t_{i})d(λ_{0})Δ}_{i∈N} ⊂ K_{1}, et un calcul similaire montre qu’une telle suite n’admet pas de valeurs d’adhérence dans DV_{1}/Δ. Contradiction. Dans les deux cas, il est impossible qu’une DV_{1}-orbite soit fermée.

3.1.2 Etude des V_{1}-orbites

Proposition 3.4 Tout ensemble X ⊂ Ω fermé qui est V_{1}-invariant contient un compact V_{1}-invariant minimal non vide.

Preuve en annexe 5.2.1

3.2 Description partielle des H-orbites

Lemme 3.5 Soit X ⊂ Ω un ensemble H-invariant fermé. Alors il contient un fermé H-invariant minimal.

Preuve Par 3.2, X contient un fermé X_{1}, DV_{1}-invariant minimal. 𝔎DV_{1} = H donc 𝔎X_{1} est un fermé (car X_{1} fermé et 𝔎 compact), et il est facile de vérifier qu’il est minimal, en utilisant la minimalité de X_{1}.

On notera, pour tout z ∈ Ω et Z ⊂ Ω,

G_{z}^{Z} = {g ∈ G|gz ∈ Z}

Lemme 3.6 Soit A un sous-groupe de G et Z ⊂ Ω un ensemble A-invariant minimal fermé. Supposons qu’il existe z ∈ Z et un voisinage W de I tel que G_{z}^{Z} ∩W ⊂ A. Alors Z = Az.

Preuve En effet, (Z − Az) ∩ W z = ∅ et donc \overline{Z − Az} ne contient pas z . Par minimalité de Z, on a donc \overline{Z − Az} = ∅ d’où Z = Az.

La proposition suivante est l’ingrédient principal de la preuve du théorème 1.4. Sa démonstration se découpe en trois cas, suivant comment se ”replie” l’espace \overline{Hx} sur un certain point y.

Proposition 3.7 Soit x ∈ Ω. Alors, soit l’orbite Hx est fermée, soit il existe y ∈ Ω tel que V_{2}^{+}y ou V_{2}^{−}y soit inclus dans \overline{Hx}.

Preuve Posons X = \overline{Hx}. On suppose que X ≠ Hx. X est un fermé DV_{1}-invariant, donc il contient un fermé DV_{1}-invariant minimal X_{1} par 3.2; de même, X_{1} est V_{1}- invariant et donc contient un compact Y V_{1}-invariant minimal, par 3.4. Soit y ∈ Y. Nous allons montrer que G_{y}^{X} contient V_{2}^{ϵ} pour un certain ϵ ∈ {−1, +1}; Pour cela, on découpe la preuve en trois cas, suivant à quoi ressemble G_{y}^{X} près de l’identité.

3.2.1 Premier cas

Dans ce premier cas, on suppose que I ∈ \overline{G_{y}^{X} − HV_{2}}. En d’autres termes, on suppose qu’il existe M ⊂ G − HV_{2} tel que I ∈ \overline{M} et my ∈ X pour tout m ∈ M. Nous aurons besoin des lemmes suivants :

Lemme 3.8 Soient A_{1}, A_{2}, B ⊂ A_{1} ∩ A_{2} trois sous-groupes fermés de G, soient Y_{1}, Y_{2} deux fermés de Ω et M ⊂ G tels que :

1. A_{1}Y_{1} = Y_{1} et A_{2}Y_{2} = Y_{2}

2. ∀m ∈ M, mY_{1} ∩ Y_{2} ≠ ∅

3. Y_{1} est compact B-invariant minimal.

Alors ∀h ∈ N_{G}(B) ∩ \overline{A_{2}MA_{1}}, hY_{1} ⊂ Y_{2}.

Preuve (C’est sur ce lemme qu’était basé la démonstration de [17],[18]) Soit h ∈ N_{G}(B)∩\overline{A_{2}MA_{1}}. Montrons que hY_{1}∩Y_{2} ≠ ∅. En effet, soit a_{n}^{(2)}m_{n}a_{n}^{(1)} → h où a_{n}^{(i)} ∈ A_{i} et m_{n} ∈ M. Par (2) soit y_{n} ∈ m_{n}Y_{1} ∩ Y_{2}, et comme Y_{1} compact, soit (a_{ψ(n)}^{(1)})^{−1}m_{ψ(n)}^{−1}y_{ψ(n)} une sous-suite extraite convergeant vers y ∈ Y_{1}. Alors :

Y_{2} ∋ a_{ψ(n)}^{(2)}y_{ψ(n)} = (a_{ψ(n)}^{(2)}m_{ψ(n)}a_{ψ(n)}^{(1)}) ((a_{ψ(n)}^{(1)})^{−1}m_{ψ(n)}^{−1}y_{ψ(n)}) → hy

Donc hy ∈ hY_{1} ∩ Y_{2}. Mais hY_{1} = h\overline{By} = \overline{Bhy} ⊂ BY_{2} = Y_{2} par minimalité de Y_{1} et car h ∈ N_{G}(B). CQFD.

Comme Y est compact V_{1}-invariant minimal, X est fermé H-invariant et mY ∩ X ≠ ∅ pour tout m ∈ M, l’application directe de ce lemme nous dit que ∀h ∈ N_{G}(V_{1}) ∩ \overline{HMV_{1}}, on a hY ⊂ X.

Lemme 3.9 Soit U = {u(t)} un sous-groupe unipotent d’automorphismes linéaires d’un espace vectoriel réel E de dimension finie. Soit F = {x ∈ E|Ux = x}, M ⊂ E − F et p ∈ F ∩ \overline{M}. Alors il existe une application polynomiale non constante Φ : IR → F, telle que :

Φ(IR) ⊂ \overline{UM} ∩ F

Remarque On entend par application polynomiale Φ de IR dans E une application qui s’écrit :

Φ(x) = ∑_{i=1}^{n} P_{i}(x)e_{i}

où les P_{i} sont des polynômes réels et (e_{1}, .., e_{n}) une base de E. Preuve en annexe 5.2.2

Lemme 3.10 V_{2}^{+} ou V_{2}^{−} est contenu dans \overline{HMV_{1}}.

Preuve Notons 𝔭 ⊂ 𝔤 l’ensemble des matrices de la forme :

[ \begin{matrix}a & b & d \\ c & −2a & −b \\ e & −c & a \end{matrix} ]

(C’est l’ortho-complément de 𝔥 pour la forme de Killing). Soit

f : 𝔥 ⊕ 𝔭 → G
(h′, p) ↦ exp(h′) exp(p)

C’est, par le théorème d’inversion locale, un difféomorphisme d’un voisinage de 0 ∈𝔤 dans un voisinage de I ∈ G; par conséquent, il existe h_{i} ∈ H, p_{i} ∈𝔭, tels que p_{i} → 0, h_{i} → I et m_{i} = h_{i} exp(p_{i}) (quitte à décaler la suite (m_{i})_{i} en éliminant les premiers termes). Il est facile de vérifier que ∀p ∈ 𝔭, νp − pν ∈ 𝔭. On note τ(p) = [ν, p] qui est un endomorphisme de 𝔭, nilpotent car ν est nilpotent. On démontre également facilement que pour tout p ∈𝔭 et t ∈ IR,

(exp(tτ))(p) = v_{1}(t)pv_{1}(−t),

en remarquant que ces deux groupes à un paramètre d’autormorphismes ont même dérivée en t = 0. Appliquons maintenant le lemme précédent au groupe unipotent U = {exp(tτ)}, l’espace vectoriel 𝔭, l’ensemble {p_{i}} et le point p = 0. On a, par un calcul direct, F = ker(τ) = V ect(ν^{2}), mais si p_{i} ∈ F = V ect(ν^{2}), alors m_{i} ∈ HV_{2} ce qui contredit l’hypothèse. Donc on a un polynôme Φ : IR → V ect(ν^{2}) non constant tel que :

Φ(IR) ⊂ \overline{U\{p_{i}\}} ∩ V ect(ν^{2})

D’où :

exp(Φ(IR)) ⊂ exp(\overline{U\{p_{i}\}})∩V_{2} ⊂ \overline{exp(U\{p_{i}\})}∩V_{2} ⊂ \overline{\{v_{1}(t) exp(p_{i})v_{1}(−t)\}_{t∈R,i∈N}}∩V_{2},

Mais m_{i} = h_{i} exp(p_{i}). Donc :

exp(Φ(IR)) ⊂ \overline{HMV_{1}} ∩ V_{2}

Le lemme découle alors du fait que Φ est non constant , Φ(s) = P (s)ν^{2} où P est à valeurs réelles, et Φ(0) = 0. CQFD.

On a vu que ∀h ∈ N_{G}(V_{1}) ∩ \overline{HMV_{1}}, on a hY ⊂ X. Mais comme V_{2} ⊂ N_{G}(V_{1}) (car V_{1}V_{2} est abélien), on a

V_{2}^{ϵ}Y ⊂ X

Ce qui conclut le premier cas de la proposition.

3.2.2 Deuxième cas

Dans ce deuxième cas, on suppose qu’il existe W voisinage de I ∈ G tel que W ∩ G_{y}^{X} ⊂ H. Tout d’abord, Hx est dense dans X, mais W y ∩ X ⊂ Hy, et donc Hx = Hy. Or X_{2} =𝔎X_{1} est un fermé H-invariant minimal (cf 3.5 et sa démonstration) contenant y, mais W ∩ G_{y}^{X} ⊂ H et donc W ∩ G_{y}^{X_{2}} ⊂ H. Par le lemme 3.6, Hx = Hy = X_{2}. Ce qui conclut le second cas.

3.2.3 Troisième cas

Dans ce troisième cas, on a la négation des deux autres cas. On n’a pas I ∈ \overline{G_{y}^{X} − HV_{2}}, et donc il existe W_{0} voisinage de I tel que W_{0} ∩ G_{y}^{X} ⊂ HV_{2}. Soit (W_{i}) une base de voisinages dénombrable de I, telle que W_{i} ⊂ W_{0} pour tout i. Puisque qu’on a pas W_{i} ∩ G_{y}^{X} ⊂ H, et qu’on a W_{i} ∩ G_{y}^{X} ⊂ HV_{2}, il existe h_{i}v_{2}(t_{i}) ∈ W_{i} ∩ G_{y}^{X} avec t_{i} ≠ 0. Alors h_{i}v_{2}(t_{i}) → I, et

2t_{i} = Q_{0}(h_{i}v_{2}(t_{i})e_{3}) → Q_{0}(e_{3}) = 0

Donc t_{i} → 0. De plus v_{2}(t_{i})y ∈ X.

Quitte à réduire W_{0}, on peut s’assurer que les conditions suivantes sont vérifiées :

1. Tout g ∈ W_{0} n’a que des éléments diagonaux positifs.

2. Tout élément de W_{0}y s’écrit de façon unique gy où g ∈ W_{0}.

3. W_{0} est relativement compact.

Alors les W_{i} ont les mêmes propriétés.

Lemme 3.11 W_{i}y ∩ DV_{1}y ⊂ (W_{i} ∩ DV)y Preuve Soit g ∈ DV_{1} tel que gy = wy pour un certain w ∈ W_{i}. Comme W_{i}y ∩ X ⊂ HV_{2}y, on a w ∈ HV_{2}. Pour i suffisamment grand, on a gv_{2}(t_{i})g^{−1}w ∈ W_{i} et comme W_{i}y ∩ X ⊂ HV_{2}y et gv_{2}(t_{i})g^{−1}wy = gv_{2}(t_{i})y ∈ X, on a : gv_{2}(t_{i})g^{−1}w ∈ HV_{2}, c’est à dire : gv_{2}(t_{i})g^{−1}hv_{2}(s) = h′v_{2}(r), où w = hv_{2}(s). Donc v_{2}(t_{i})(g^{−1}h) ∈ HV_{2}, mais par le lemme 2.3, (g^{−1}h) est triangulaire supérieure, et g ∈ DV_{1} donc h également. Or w = hv_{2}(s) est à diagonale positive, donc h également, et par la seconde partie du lemme 2.3, h ∈ DV_{1} et donc w ∈ DV. Donc gy ∈ (W_{i} ∩ DV)y.

Lemme 3.12 Pour tout voisinage W de I inclus dans W_{0}, W y ∩ DV_{1}y n’est pas inclus dans (W ∩ DV_{1})y.

Preuve Il suffit de remarquer que sinon, G_{y}^{X_{1}} ∩ W ⊂ DV_{1}, et par le lemme 3.6, on aurait X_{1} = DV_{1}y. Mais il n’y a aucune DV_{1}-orbite fermée. Contradiction.

Par les deux lemmes précédents, on conclut que pour tout i, il existe w_{i} ∈ (W_{i} ∩ DV) − (W_{i} ∩ DV_{1}) tel que w_{i}y ∈ (W_{i}y ∩ DV_{1}y), c’est à dire w_{i}y = h_{i}y où h_{i} ∈ DV_{1}. On peut écrire w_{i} = p_{i}v_{2}(s_{i}), où s_{i} → 0 ,s_{i} ≠ 0 et p_{i} ∈ DV_{1}. Soit Δ = DV ∩ G_{y}^{y} = DV ∩ yΓy^{−1}.Δ est discret, donc par la classification des sous-groupes discrets de DV, on sait qu’il est soit inclus dans V, soit de la forme {vd^{n}v^{−1}}_{n∈Z}, où v ∈ V et d ∈ D. Si il est de la forme {vd^{n}v^{−1}}_{n∈Z}, v = v_{1}(t)v_{2}(s), d = d(u), et ainsi

v_{1}(t)v_{2}(s)d(u)^{n}v_{1}(−t)v_{2}(−s) = v_{1}(t)d(u)^{n}v_{1}(t)v_{2}(s(u^{−2n} − 1)).

Mais h_{i}^{−1}p_{i}v_{2}(s_{i}) ∈ Δ, et donc s_{i} = s(u^{−2n} − 1) pour un certain n ∈ Z. s_{i} → 0 donc c’est impossible car s_{i} ≠ 0. Par conséquent, Δ ⊂ V et donc h_{i}^{−1}p_{i}v_{2}(s_{i}) ∈ V, d’où h_{i}^{−1}p_{i} ∈ V_{1} et donc v_{2}(s_{i})y ∈ V_{1}y ⊂ Y, donc :

Y = \overline{V_{1}v_{2}(s_{i})y} = \overline{v_{2}(s_{i})V_{1}y} = v_{2}(s_{i})Y

et donc v_{2}(s_{i}) ∈ Stab(Y). Les v_{2}(s_{i}) engendrent un sous-groupe dense de V_{2}, et comme Stab(Y) est fermé, on a V_{2} ⊂ Stab(Y) et donc V_{2}Y = Y, ce qui conclut le troisième et dernier cas.

3.2.4 Remarque

En fait, le comportement des H-orbites est connu de manière beaucoup plus précise: dans [6] Dani et Margulis prouvent le résultat suivant :

Théorème 3.13 Toute H-orbite est soit fermée, soit dense dans Ω.

La démonstration en est évidemment beaucoup plus complexe, et pour prouver le théorème 1.4 la version que l’on démontre ici est suffisante. Ce résultat est obtenu immédiatement en admettant les résultats de Marina Ratner (cf annexe 5.5).

4 Démonstration du théorème

On utilise le critère suivant:

Proposition 4.1 Soit g ∈ G et Q la forme quadratique Q(x) = Q_{0}(gx). Si HgΓ ⊂ Ω est fermé, alors Q est proportionnelle à une forme rationnelle.

Preuve Soit S l’ensemble des matrices 3 ∗ 3 symétriques réelles. Posons :

F = {σ ∈ S|^{t}δσδ = σ, ∀δ ∈ (g^{−1}Hg ∩ Γ)}

On remarque que ^{t}gσ_{0}g ∈ F. Soit ξ ∈ F, on pose f(x) =^{t} xξx. f est une application continue de G/(g^{−1}Hg ∩ Γ) dans S. Appliquons le lemme de Margulis à v_{1}(t) et gΓ : il exite un compact K ⊂ Ω tel que {t ≥ 0|v_{1}(t)gΓ ∈ K} soit non borné. Comme HgΓ est fermé, quitte à prendre K ∩ HgΓ, on peut supposer K ⊂ HgΓ. Comme :

Φ : HgΓ/Γ ⟶ H/(g^{−1}Hg ∩ Γ)
hgΓ ↦ (g^{−1}hg)(g^{−1}Hg ∩ Γ)

est un homéomorphisme, Φ(K) est compact et vérifie {t ≥ 0|g^{−1}v_{1}(t)g(g^{−1}Hg ∩ Γ) ∈ Φ(K)} n’est pas borné. Or f_{1}(t) = f(g^{−1}v_{1}(t)g) est polynomiale en t, et {t ≥ 0|f_{1}(t) ∈ f(Φ(K))} n’est pas borné. Comme f(Φ(K)) est compact, on en déduit que f_{1} est constante, c’est à dire ^{t}v_{1}(t)^{t}g^{−1}ξg^{−1}v_{1}(t) =^{t} g^{−1}ξg^{−1} pour tout t. On peut refaire le même raisonnement avec ^{t}v_{1}(t), et obtenir que si σ =^{t} g^{−1}ξg^{−1}, v_{1}(t)σ^{t}v_{1}(t) = σ, ^{t}v_{1}(t)σv_{1}(t) = σ et σ symétrique. Mais ces conditions impliquent que σ est proportionnelle à σ_{0}, par un simple calcul matriciel. Donc

F = V ect(^{t}gσ_{0}g)

Comme g^{−1}Hg ∩Γ ⊂ SL_{3}(Z), F est définit par un système d’équations linéaires à coefficients dans Z, en les coefficients de σ, du type

tδ_{i}σδ_{i} = σ

pour 1 ≤ i ≤ k, et on peut imposer k = n(n + 1)/2 − dim(F) = n(n + 1)/2 − 1. Donc le système admet une solution rationnelle non triviale. Or F est de dimension 1, donc il existe c ∈ IR tel que c^{t}gσ_{0}g soit à coefficients rationnels. Mais c’est la matrice de la forme quadratique cQ, ce qui achève la démonstration.

Maintenant, soit Q, g comme au 2.1. Puisque Q n’est pas proportionnelle à une forme rationnelle, HgΓ/Γ n’est pas fermé dans Ω, par la proposition précédente. Mais alors \overline{HxΓ} contient V_{2}^{ϵ}y, pour un certain y ∈ G et ϵ ∈ \{−1, +1\}. On a l’égalité :

Q_{0}(v_{2}(s)yα) = Q_{0}(yα) + 2sQ_{1}(yα)

et de plus on a vu que : Q_{0}(v_{2}(s)yα) ∈ \overline{Q(P)} si α ∈ P.

Lemme 4.2 Soit n ≥ 2 et soit U un ouvert non vide de IR^{n} tel que pour tout u ∈ U, tu ∈ U pour tout t ≥ 1. Alors U contient un élément primitif x ∈ P

Preuve U ouvert non vide donc il existe x vecteur à coordonnées rationnelles dans U. Quitte à multiplier x par le PPCM des dénominateurs, on peut supposer x à coefficients entiers : x = (x_{1}, .., x_{n}). Comme U est ouvert, il existe un entier t_{0}, tel que pour tout t ≥ t_{0}, (x_{1} + 1/(tx_{2}), x_{2}, x_{3}, .., x_{n}) ∈ U, et donc

x_{0} = (t_{0}x_{1}x_{2} + 1, t_{0}x_{2}^{2}, t_{0}x_{2}x_{3}, .., t_{0}x_{2}x_{n}) ∈ U.

Soit p un éventuel nombre premier divisant pgcd(t_{0}x_{1}x_{2} + 1, t_{0}x_{2}^{2}). Alors p divise t_{0}x_{2}^{2} et donc t_{0}x_{2} également. Par conséquent p ne divise pas t_{0}x_{2}x_{1} + 1, qui est congru à 1 modulo p. Donc

x_{0} ∈ P ∩ U

On applique ce lemme à U_{a} = {α ∈ IR^{n}|Q_{0}(yα) < a, Q_{1}(yα) > 0}, si ϵ = 1, U_{a} = {α ∈ IR^{n}|Q_{0}(yα) > a, Q_{1}(yα) > 0} si ϵ = −1, et on obtient donc α_{a} ∈ P tel que :

Q_{0}(v_{2}(s)yα_{a}) = Q_{0}(yα_{a}) + 2sQ_{1}(yα_{a})

Et donc, si ϵ = +1 :

[a, +∞[⊂ Q_{0}(V_{2}^{ϵ}yα_{a}) ⊂ \overline{Q(P)},

ou bien (si ϵ = −1),

] − ∞, a] ⊂ Q_{0}(V_{2}^{ϵ}yα_{a}) ⊂ \overline{Q(P)},

et ce pour tout a ∈ IR. Donc :

\overline{Q(P)} = IR

Ce qui termine la preuve du théorème 1.4.

Remarques : A noter que, dans cette démonstration, on peut :

– Se passer de l’axiome du choix. Cf [4].

– Se restreindre à prouver la conjecture 1.2, et il n’est alors plus nécessaire d’utiliser le lemme de Margulis. Cf [5] pour les détails.

5 Annexe

5.1 Réduction au cas n = 3

(Cette démonstration est inspirée de [6]).

Lemme 5.1 Soit Q une forme quadratique réelle indéfinie non dégénérée à n variables, n ≥ 3. Si Q est irrationnelle (c’est à dire non proportionnelle à une forme rationnelle), il existe x, y, z vecteurs à coefficients rationnels tels que :

– Q(x), Q(y), Q(z) soient non nul.

– Q(x)/Q(y) soit irrationnel.

– Q restreint à V ect(x, y, z) soit indéfinie et non dégénérée.

Preuve

Nous utiliserons à répétition la propriété P suivante : Si P est un polynôme à coefficients non rationnels de degré n, alors il y a au plus n points rationnels d’image rationnelle par P. Ceci se démontre facilement par l’absurde avec les polynômes d’interpolation de Lagrange.

Q est non dégénérée et indéfinie,n ≥ 3, et donc, par le théorème d’orthogonalisation, on sait qu’il existe x_{0},y_{0},z_{0}, orthogonaux tels que Q(x_{0})Q(y_{0})Q(z_{0}) < 0. La matrice de Q restreinte à V ect(x_{0}, y_{0}, z_{0}) étant diag(Q(x_{0}), Q(y_{0}), Q(z_{0})) dans la base (x_{0}, y_{0}, z_{0}), elle est non dégénérée et indéfinie, et on voit que Q est non dégénérée et indéfinie sur V ect(x, y, z) pour (x, y, z) suffisamment proches de (x_{0}, y_{0}, z_{0}). Il existe donc x_{1}, y_{1}, z_{1} à coefficients rationnels, et ϵ > 0 tels que pour tout vecteurs x, y tels que ||x − x_{1}|| < ϵ et ||y − y_{1}|| < ϵ,Q restreinte à V ect(x, y, z_{1}) est non dégénérée et indéfinie. Maintenant si

Q(∑_{i} x_{i}e_{i}) = ∑_{i,j} λ_{ij}x_{i}x_{j},

l’hypothèse implique qu’il existe (i, j, k, l) (non nécessairement tous disctincts), tels que λ_{ij}/λ_{kl} soit irrationnel. Si ϕ est la forme bilinéaire symétrique associée à Q, il existe t_{0} rationnel, |t_{0}| < ϵ/2 tel que t_{0}λ_{ij}/λ_{kl} + ϕ(y_{1}, e_{j})/λ_{kl} soit irrationnel, par la propriété P. De plus

\frac{Q(y_{1} + t_{0}e_{i} + se_{j})}{λ_{kl}} = \frac{Q(y_{1} + t_{0}e_{i})}{λ_{kl}} + s^{2} \frac{Q(e_{j})}{λ_{kl}} + 2s\frac{ϕ(y_{1}, e_{j}) + t_{0}λ_{ij}}{λ_{kl}}

Mais en réappliquant P, on trouve s_{0} rationnel, |s_{0}| < ϵ/2, tel que Q(y_{1} + t_{0}e_{i} + s_{0}e_{j})/λ_{kl} soit irrationnel, et on pose y_{2} = y_{1} + t_{0}e_{i} + s_{0}e_{j}, qui est à coefficients rationnel et ϵ-proche de y_{1}. Maintenant, par P, il existe t_{1} rationnel, |t_{1}| < ϵ/2 tel que t_{1}λ_{kl}/Q(y_{2})+ϕ(x_{1}, e_{l})/Q(y_{2}) soit irrationnel. On a encore :

\frac{Q(x_{1} + t_{1}e_{k} + se_{l})}{Q(y_{2})} = \frac{Q(x_{1} + t_{1}e_{k})}{Q(y_{2})} + s^{2} \frac{Q(e_{l})}{Q(y_{2})} + 2s\frac{ϕ(x_{1}, e_{l}) + t_{1}λ_{kl}}{Q(y_{2})} .

Appliquons une dernière fois P pour trouver s_{1} rationnel, |s_{1}| < ϵ/2, tel que si x_{2} = x_{1} + t_{1}e_{k} + s_{1}e_{l}, Q(x_{2})/Q(y_{2}) soit irrationnel. Ceci achève la démonstration, en prenant Q restreinte à (x_{2}, y_{2}, z_{1})

Corollaire 5.2 Si le théorème 1.4 est vrai pour n = 3, alors il est vrai pour tout n ≥ 3.

Preuve Quitte à multiplier (x, y, z) par des rationnels, on peut supposer que (x, y, z) ∈ P^{3}. On peut alors compléter (x, y, z) en une Z-base (x, y, z, u_{4}, .., u_{n}) de Z^{n}. Soit U un ouvert de IR, par le résultat pour n = 3 appliqué à Q′(a, b, c) = Q(ax + by + cz), on obtient qu’il existe (a, b, c), avec pgcd(a, b, c) = 1 tels que Q(ax + by + cz) ∈ U. Mais ax + by + cz ∈ P car dans la base (x, y, z, u_{4}, .., u_{n}), (a, b, c, 0, .., 0) est primitif. CQFD.

5.2 Preuves manquantes

5.2.1 Preuve de la proposition sur les V_{1}-orbites

Nous allons utiliser les deux lemmes suivants :

Lemme 5.3 Soit ρ > 0, A_{1}(ρ) = {gΓ|g ∈ G, gZ^{3} ∩V ect(e_{1}) engendre V ect(e_{1}) et cov(gZ^{3} ∩V ect(e_{1})) = ρ}, A_{2}(ρ) = {gΓ|g ∈ G, gZ^{3}∩V ect(e_{1}, e_{2}) engendre V ect(e_{1}, e_{2}) et cov(gZ^{3}∩V ect(e_{1}, e_{2})) = ρ}. Alors A_{i}(ρ) est un fermé V_{1}-invariant dans Ω pour i ∈ {1, 2}, ρ > 0.

Preuve Il est facile de montrer que A_{1} et A_{2} sont des ensembles V_{1}-invariants. On vérifie facilement que : A_{1}(ρ) = G_{1}d(ρ)Γ/Γ et A_{2}(ρ) = G_{2}d(1/ρ)Γ/Γ où G_{1} et G_{2} sont les groupes :

G_{1} = {g ∈ G|ge_{1} = e_{1}}, G_{2} = {g ∈ G|^{t}ge_{3} = e_{3}}

Γe_{1}/ρ est un fermé de IR^{3}, et par continuité de l’action naturelle de G sur IR^{3}, {g ∈ G|ge_{1} ∈ Γe_{1}/ρ} = Γd(1/ρ)G_{1} est fermé dans G, et donc G_{1}d(ρ)Γ est un fermé de G, et donc A_{1}(ρ) est un fermé de Ω car l’ensemble précédent est saturé en Γ. De même, Γρe_{3} est un fermé de IR^{3}, et par continuité de l’action contragradiente de G sur IR^{3} donnée par (g, x) ↦^{t} g^{−1}x, {g ∈ G|^{t}g^{−1}e_{3} ∈ Γρe_{3}} = Γd(ρ)G_{2} est fermé dans G, et donc G_{2}d(1/ρ)Γ est un fermé de G, et donc A_{2}(ρ) est un fermé de Ω car l’ensemble précédent est saturé en Γ.

Lemme 5.4 Soit Z un espace localement compact et {ϕ_{t}}_{t∈IR} un groupe à un paramètre d’homéomorphismes de Z agissant continument. Supposons qu’il existe K ⊂ Z un compact tel que pour tout z ∈ Z, {t ≥ 0|ϕ_{t}z ∈ K} et {t ≤ 0|ϕ_{t}z ∈ K} soient tous deux non bornés. Alors Z est compact.

Preuve

Quitte à remplacer K par le compact ∪_{s∈[−1,1]}ϕ_{s}(K), on peut supposer que pour tout z ∈ Z, {k ∈ N|ϕ_{k}z ∈ K} et {k ∈ N|ϕ_{−k}z ∈ K} soient tous deux non bornés. Soit K_{1} un voisinage compact de K, et soit W = Z − K_{1}. Soit B = ∩_{j≥0}ϕ_{j}\overline{W}. ϕ_{−j}B ⊂ B ⊂ \overline{W} ⊂ Z − K pour tout j ∈ N et donc B = ∅ par la condition {k ∈ N|ϕ_{−k}z ∈ K} non borné. Comme K_{1} est compact, il existe m ∈ N tel que ϕ_{m}\overline{W} ⊂ W. Soit E = ∩_{j=1}^{m}ϕ_{j}W ⊂ W. Alors pour tout j ∈ N, ϕ_{j}E ⊂ E ⊂ Z − K et donc {k ∈ N|ϕ_{k}z ∈ K} non borné implique que E = ∅. Par conséquent, en passant au complémentaire, Z = ∪_{j=1}^{m}ϕ_{j}K_{1} est compact.

Maintenant, si pour un certain ρ_{1} > 0, A_{1}(ρ_{1}) ∩ X n’est pas vide, on remplacer X par X_{1} = A_{1}(ρ_{1}) ∩ X fermé V_{1}-invariant non vide, puis de même on trouve X_{2} ⊂ X_{1} ⊂ X tel que X_{2} ⊂ A_{2}(ρ_{2}) pour un certain ρ_{2} > 0 ou bien X_{1} = X_{2} et X_{1} ∩ A_{2}(ρ) = ∅ pour tout ρ > 0, de telle sorte que, pour i ∈ {1, 2}, il existe ρ′_{i} > 0 tel que pour tout 0 < ρ < ρ′_{i}, A_{i}(ρ) ∩ X_{2} = ∅ ( car les A_{i}(ρ) sont disjoints pour i fixé ). Soit σ = inf{1, ρ′_{1}, ρ′_{2}}, et soit K un compact qui vérifie le lemme de Margulis uniforme pour σ. Soit gΓ ∈ X_{2}, et supposons qu’un des ensembles {t ≥ 0|v_{1}(t)gΓ ∈ K} et {t ≤ 0|v_{1}(t)gΓ ∈ K} soit borné. Alors il existe Δ ⊂ Z^{3} sous-groupe discret non réduit à {0}, tel que gΔ_{IR} soit V_{1}-invariant et tel que cov(gΔ) < σ. Comme dans la démonstration du lemme 3.1, on a que les seuls sous-espaces V_{1}-invariant sont V ect(e_{1}) et V ect(e_{1}, e_{2}). Alors gΓ ∈ A_{i}(cov(gΔ)) pour un certain i ∈ {1, 2}. Par le choix de X_{2} c’est impossible, et donc par le lemme précédent X_{2} est compact. Donc X contient un compact V_{1}-invariant non vide. En utilisant le lemme de Zorn comme dans la démonstration de 3.2, on trouve alors un compact V_{1}-invariant minimal et non vide dans X.

5.2.2 Preuve du lemme 3.11

Soit (m_{n}) → p une suite d’éléments de M. On a : u(t) = exp(tτ) où τ nilpotent. On note n = dim E et on pose

t_{i} = \frac{1}{sup_{1≤k≤n} ^{k} \sqrt{||τ^{k}(m_{i})||}},

de sorte que t_{i}^{k}τ^{k}(m_{i}) ∈ \overline{B}_{E}(0, 1). Soit j le plus grand indice k > 0 tel que t_{i}^{k}τ^{k}(m_{i}) ne tende pas vers zéro lorsque i → ∞ (il existe, en utilisant la définition de t_{i}). Par compacité de \overline{B}_{E}(0, 1), en extrayant des suites j fois consécutivement, on peut trouver une suite extraite telle que

t_{ψ(i)}^{k}τ^{k}(m_{ψ(i)}) → x_{k} ∈ \overline{B}_{E}(0, 1),

avec x_{j} ≠ 0. Pour s fixé,

u(st_{ψ(i)})(m_{ψ(i)}) → ∑_{k=0}^{j} s^{k} \frac{x_{k}}{k!}

Notons Φ(s) ce dernier polynôme. Comme x_{j} ≠ 0, ce polynôme est non constant et comme

τ(Φ(s)) = lim_{i→∞} ∑_{k=0}^{n} \frac{s^{k}}{k!} t_{ψ(i)}^{k}τ^{k+1}(m_{ψ(i)}),

et que

||t_{i}^{k}τ^{k+1}(m_{i})|| ≤ \frac{1}{t_{i}} ,

on a τ(Φ(s)) = 0, c’est à dire Φ(s) ∈ F. CQFD

5.3 Esquisse de la preuve du lemme de Margulis uniforme

On trouvera les détails de cette démonstration dans l’annexe de [5] par exemple, ou même une version plus générale facilement déductible de [13]. On se limitera ici à énoncer les résultats intermédiaires qui constituent le corps de la preuve.

5.3.1 Introduction et notations

Soit (e_{1}, .., e_{n}) la base canonique de IR^{n}. Pour les deux propriétés suivantes, citées dans [5] mais qui n’y sont pas démontrées, on fournit une démonstration élémentaire.

Proposition 5.5 Soit Δ un sous-groupe discret de IR^{n}. Il admet une Z-base (x_{1}, .., x_{r}) Les définitions suivantes du covolume sont équivalentes :

1. Si u_{r+1}, .., u_{n} est une base orthonormée de Δ_{IR}^{⊥}, cov(Δ) = |det(x_{1}, .., x_{r}, u_{r+1}, .., u_{n})|

2. cov(Δ)^{2} = det([< x_{i}, x_{j} >]_{i,j})

3. cov(Δ)^{2} est la somme des carrés des déterminants r ∗ r de la matrice r ∗ n qui a pour colonnes x_{1}, .., x_{r}.

Preuve L’équivalence 1 ↔ 2 s’obtient en remarquant que le produit matriciel :

t[x_{1}..x_{r}u_{r+1}..u_{n}][x_{1}..x_{r}u_{r+1}..u_{n}]

est égal à la matrice-bloc :

[ \begin{matrix}[< x_{i}, x_{j} >]_{1≤i,j≤r} & 0 \\ 0 & I_{n−r} \end{matrix} ]

Et par conséquent les deux déterminants sont égaux. L’équivalence 2 ↔ 3 s’obtient par exemple en calculant :

D_{1} = det([< x_{i}, x_{j} >]_{i,j}) = ∑_{σ∈S_{r}}(−1)^{ϵ(σ)} ∏_{j=1}^{r} (∑_{i=1}^{n} x_{ij}x_{iσ(j)})

D_{2} = ∑_{i_{1}<..<i_{r}∈{1,..,n}} ( ∑_{σ∈S_{r}}(−1)^{ϵ(σ)} ∏_{j=1}^{r} x_{i_{j}σ(j)})^{2}

Des dévellopements et un changement de variable montrent facilement que ces deux sommes sont égales quelques soient les x_{ij}

On note également la propriété suivante :

Proposition 5.6 Soit M_{1} et M_{2} deux matrices r ∗ n avec r ≤ n − 1. Alors les sous-espaces vectoriels engendrés par les vecteurs-colonnes des deux matrices sont égaux ssi les déterminants r ∗ r extraits des deux matrices sont égaux.

Preuve Il suffit de voir qu’un vecteur v appartient à l’espace engendré par les vecteurs colonnes de M_{i} ssi tous les déterminants (r + 1) ∗ (r + 1) de M ”accolé” à v sont nuls, et que par le dévellopement en colonne d’un déterminant, cette condition ne dépend que des déterminants r ∗ r de M_{i}.

Etant donné un réseau λ, on note S(λ) l’ensemble de ses sous-groupes de la forme λ ∩ W, où W est un sous-espace vectoriel, et pour toute partie S totalement ordonnée de S(λ), on note : L(S, λ) = {Δ ∈ S(λ) − S|S ∪ Δ est totalement ordonné }

5.3.2 Quelques préliminaires techniques

Lemme 5.7 Pour tout réseau λ de IR^{n} et tout ρ > 0, l’ensemble {Δ ∈ S(λ)/cov(Δ) < ρ} est fini

Lemme 5.8 Soit Δ un sous-groupe discret de IR^{n}, x ∈ IR^{n} − Δ_{IR}. Alors, si Δ′ est le sous-groupe engendré par Δ et x,

cov(Δ′) ≤ cov(Δ) ∗ ||x||

Lemme 5.9 Soit Δ un sous-groupe discret non trivial de IR^{n} et soit {u(t)}_{t∈IR} un sous-groupe unipotent de SL_{n}(IR). Alors cov(u(t)Δ)^{2} est un polynôme en t de degré au plus 2n(n−1). De plus, cov(u(t)Δ) est constant ssi Δ_{IR} est {u(t)}_{t∈IR}-invariant.

Lemme 5.10 a) Pour tout m ∈ IN et η > 1, il existe ϵ > 0 tel que ∀P ∈ P_{m} tel que ∃s ∈ [0, 1], P (s) ≥ 1 et P (1) > ϵ, alors il existe t ∈ [1, η] tel que P (t) = ϵ

b) Pour tout m ∈ IN et μ > 1, il existe ϵ_{1}, ϵ_{2} > 0 tels que ∀P ∈ P_{m} tel P ([0, 1]) ⊂ [0, 1] et P (1) = 1, il existe i, 0 ≤ i ≤ m, tel que P ([μ^{2i+1}, μ^{2i+2}]) ⊂ [ϵ_{1}, ϵ_{2}].

Dans la suite, on fixe μ > 1 et n ∈ N, et on pose m = 2n^{2}, 1 < η ≤ 1 + (μ − 1)/μ^{2m+2}, α = \sqrt{ϵ}, β_{1} = \sqrt{ϵ_{1}}, β_{2} = \sqrt{ϵ_{2}} où ϵ, ϵ_{1}, ϵ_{2} sont donnés par le lemme précédent.

Proposition 5.11 Soit {u(t)}_{t∈IR} un sous-groupe unipotent à un paramètre de SL_{n}(IR), λ un réseau de IR^{n} et S une partie totalement ordonnée de S(λ). Soit τ > 0 et T ≥ 0 tels que pout tout Φ ∈ L(S, λ), il existe t ∈ [O, T] tel que cov(u(t)Φ) ≥ τ. Alors soit cov(u_{T} Φ) ≥ ατ, ∀Φ ∈ L(S, λ), ou il existe Δ ∈ L(S, λ) et T_{1} ∈ [T, (2 − μ^{−1})T] tels que :

1.

τβ_{1}α ≤ cov(u(t)Δ) ≤ τβ_{2}α, ∀t ∈ [T_{1}, T + μ(T_{1} − T)]

2.

∀Φ ∈ L(S, λ), ∃t ∈ [T, T_{1}], cov(u(t)Φ) ≥ ατ

Corollaire 5.12 Soient {u(t)}, λ, S, τ > 0 et T ≥ 0 comme dans la proposition précédente. Soit p le cardinal de S. Alors il existe un ensemble totalement ordonné M ⊂ S(λ) contenant S et R ∈ [T, μT] tel que :

1. α^{(n−p)}β_{1}τ ≤ cov(u(R)Φ) ≤ αβ_{2}τ pour tout Φ ∈ M − S.

2. cov(u(R)Φ) ≥ α^{(n−p)}τ pour tout Φ ∈ L(M, λ).

Pour déduire de ceci les deux versions du lemme de Margulis, il faut encore utiliser le critère de compacité de Mahler.

5.4 Contre-exemple dans le cas n = 2

Le n ≥ 3 dans le théorème 1.4 est optimal : pour n = 2 le résultat est faux.

Posons Q(x, y) = x^{2} − λ^{2}y^{2}, où λ sera un irrationnel choisi par la suite.

On a:

Q(x, y) = y^{2}(\frac{x}{y} − λ)(\frac{x}{y} + λ)

On suppose que l’on a deux suites (x_{n})_{n} et (y_{n})_{n} telles que Q(x_{n}, y_{n}) → 0. On peut supposer que \frac{x_{n}}{y_{n}} est positif, ainsi que λ. Mais alors :

|\frac{x_{n}}{y_{n}} − λ| < \frac{1}{y_{n}^{2}}

à partir d’un certain rang, et par le théorème de la meilleure approximation, \frac{x_{n}}{y_{n}} est une réduite du dévellopement en fraction continue de λ. Mais si par exemple on choisit pour λ le nombre d’or, les réduites sont de la forme \frac{F_{k+1}}{F_{k}} où (F_{k})_{k} est la suite de Fibonacci, et un calcul facile montre que |Q(F_{k+1}, F_{k})| est minoré par une constante strictement positive.

5.5 Démonstration de la conjecture à partir des résultats de Ratner

En réponse à une conjecture de Raghunathan, Marina Ratner a démontré le théorème suivant [21] :

Théorème 5.13 Soit G un groupe de Lie connexe, Γ un réseau dans G et H un sous-groupe connexe de G engendré par des éléments unipotents. Alors il existe un groupe connexe P contenant H vérifiant :

\overline{HΓ} = P Γ

En notant pour tout sous-groupe H de G, H^{o} la composante connexe de l’identité de H, on a que SO(2, 1)^{o} est un sous-groupe connexe propre maximal pour ces propriétés dans SL_{3}(IR), et qu’il est engendré par ses éléments unipotents. Ainsi, si on note H = SO(Q)^{o} (qui est conjugué à SO(2, 1)^{o}), il possède les mêmes propriétés et il existe donc P contenant H tel que \overline{HΓ} = P Γ. H étant d’indice 2 dans SO(Q) (cf proposition 2.1), si HΓ est fermé alors SO(Q)Γ est fermé et par la proposition 4.1 (cet argument peut être remplacé par un raisonnement à partir du théorème de densité de Borel [3]), Q est proportionnelle à une forme rationnelle. Donc HΓ n’est pas fermé et donc H ≠ P mais par maximalité de H, P = G = SL_{3}(IR). Il est alors facile de trouver pour tout a ∈ IR un élément de g ∈ SL_{3}(IR) tel que Q(ge_{1}) = a, et donc :

a ∈ Q(P P) = Q(\overline{HΓ}P) ⊂ \overline{Q(HΓP)} = \overline{Q(P)}

Cette démonstration est évidemment beaucoup plus courte et élégante, mais le résultat de Ratner est loin d’être élémentaire, ce qui justifie le point de vue adopté dans ce rapport.

5.6 Enoncé de quelques autres résultats connexes

A noter la généralisation de A.Borel et G.Prasad [1] du résultat à des formes quadratiques sur des corps de nombres, et l’article de G.Tomanov [22] qui généralise le résultat pour des formes hermitiennes sur des corps gauches.

Un domaine très riche est l’estimation quantitative des solutions :

Soit Q une forme quadratique réelle indéfinie non dégénérée à n variables, et a < b. On sait donc que si n ≥ 3, il existe z ∈ Z^{n} tel que Q(z) ∈]a, b[. Si l’on définit V_{Q}(I) = {v ∈ IR^{n}|Q(v) ∈ I} pour tout intervalle I, la conjecture 2 implique que V_{Q}(]a, b[) ∩ Z^{n} ≠ ∅.

Dans [7], Dani et Margulis obtiennent une minoration du nombre de solutions, qui est uniforme sur certain ensembles compacts de O(p, n) (l’ensemble des formes quadratiques de discriminant ±1 et de signature (p, q)):

Soit ν une fonction continue positive sur S^{n} et soit Ω = {v ∈ IR^{n}/||v|| < ν(v/||v||)}. On a :

Théorème 5.14 Soit K ⊂ O(p, q) un compact, soit ν et Ω comme précédemment, n ≥ 3 et 1 ≤ p < n. Alors :

1. Pour tout intervalle I de IR et θ > 0, il existe un ensemble fini S de K tel que tous les éléments de S soient proportionnels à une forme à coefficients rationnels, et pout tout compact K_{1} ⊂ K − S, il existe T_{0} ≥ 0 tel que pour tout Q dans K_{1} et tout T ≥ T_{0},

|T Ω ∩ V_{Q}(I) ∩ Z^{n}| ≥ (1 − θ)μ(T Ω ∩ V_{Q}(I))

2. Si n ≤ 5, ∀ϵ > 0, ∃c > 0 et T_{0} ≥ 0 tel que pour tout Q dans K et T ≥ T_{0},

|T Ω ∩ V_{Q}(] − ϵ, ϵ[) ∩ Z^{n}| ≥ cμ(T Ω ∩ V_{Q}(] − ϵ, ϵ[))

Enfin, Eskin, Margulis et Mozes décortiquent la situation dans [11],[12] en démontrant les théorèmes suivant :

Théorème 5.15 Pour Q une forme quadratique de signature (p, q) non proportionnelle à une forme rationnelle, avec p ≥ 3 et q ≥ 1, il existe λ_{Q,Ω} tel que :

|T Ω ∩ V_{Q}(]a, b[) ∩ Z^{n}| ∼ μ(T Ω ∩ V_{Q}(]a, b[)) ∼ λ_{Q,Ω}(b − a)T^{n−2}

Quand T → +∞.

Dans le cas où la signature est (2, 1) ou (2, 2), le théorème n’est plus vrai que presque partout :

Théorème 5.16 Pour presque toute forme quadratique de signature (2, 1) ou (2, 2), il existe λ_{Q,Ω} tel que :

|T Ω ∩ V_{Q}(]a, b[) ∩ Z^{n}| ∼ μ(T Ω ∩ V_{Q}(]a, b[)) ∼ λ_{Q,Ω}(b − a)T^{n−2}

Quand T → +∞.

Et Eskin, Margulis et Mozes fournissent également des contre-exemples dans ces 2 cas. De plus, ils démontrent une version ”uniforme” de leur théorème :

Théorème 5.17 Soit K ⊂ O(p, q) un compact, p ≥ 3. Soit n = p + q et Ω comme précedemment. Pour tout a < b et tout θ > 0, il existe un ensemble fini S ⊂ K tel que tout Q ∈ S soit proportionnel à une forme rationnelle et pour tout K_{1} ⊂ K − S compact il existe T_{0} ≥ 0 tel que pour tout Q dans K_{1} et tout T ≥ T_{0},

(1 − θ)λ_{Q,Ω}(b − a)T^{n−2} ≤ |T Ω ∩ V_{Q}([a, b]) ∩ Z^{n}| ≤ (1 + θ)λ_{Q,Ω}(b − a)T^{n−2}

et

λ_{Q,Ω}(b − a)T^{n−2} ∼ |T Ω ∩ V_{Q}([a, b]) ∩ Z^{n}| ∼ μ(T Ω ∩ V_{Q}([a, b]))

5.7 Remerciements

Je tiens à remercier P. Foulon pour son soutien et la liberté qu’il m’a accordé dans mon travail, ainsi que G. Tomanov pour ses explications qui m’ont permis de comprendre la partie 5.5, mais aussi le personnel de la bibliothèque mathématique de l’université de Strasbourg pour son accueil et l’aide qu’il m’a apporté dans mes recherches d’articles.

Références

[1] A. BOREL et G. PRASAD Valeurs de formes quadratiques aux points entiers, C.R. de l’Académie des sciences de Paris, série I,307 (1988), p 217-220

[2] S. CHOWLA, A theorem on irrational quadratic forms, Journal of London Math. Soc. 9 (1934), p 162-163

[3] S.G. DANI A simple proof of Borel’s density theorem, Mathematische Zeitschrift 174 (1980), p 81-94

[4] S.G. DANI A proof of Margulis’theorem on values of quadratic forms independent of the axiom of choice , l’Enseignement Mathématique 40 (1994), p 49-58

[5] S.G DANI et G.A MARGULIS,Values of quadratic forms at integral points: an elementary approach, l’Enseignement mathématique 36 (1990), p 143-174

[6] S.G DANI et G.A. MARGULIS, Values of quadratic forms at primitive integral points, Inventiones mathematicae 98 (1989), p 405-424

[7] S.G. DANI et G.A. MARGULIS Limit distributions of orbits of unipotent flows and values of quadratic forms, Advances in soviet maths, vol 16,1 (1993), p 91-137

[8] S.G. DANI et G.A. MARGULIS On limit distributions of orbits of unipotent flows and integral solution of quadratic inequalities, C.R. Ac. Sc. Paris 314,1 (1992), p 699-704

[9] H. DAVENPORT et H. HEILBRONN, On indefinite quadratic forms in five variables, J. London Math. Soc 21 (1946), p 185-193.

[10] H. DAVENPORT et H. RIDOUT, Indefinite quadratic forms, Proc. London Math. Soc. (3) 9 (1959), p 544-555

[11] A. ESKIN, G.A. MARGULIS et S. MOZES,On a quantitative version of the Oppenheim conjecture, Electronic Research Announcements of the American Mathematical Society vol 1,3, (1995)

[12] A. ESKIN, G.A. MARGULIS et S. MOZES,Upper bounds and asymptotics in a quantitative version of the Oppenheim conjecture, (disponible à http://www.math.uchicago.edu/ẽskin)

[13] D.Y. KLEINBOCK et G.A. MARGULIS Flows on homogeneous spaces and diophantine approximation on manifolds, (1997), p -

[14] D.J. LEWIS, The distribution of values of real quadratic forms, Proceedings of Symposia in pure math vol XXIV AMS (1973)

[15] G.A. MARGULIS, Dynamical and ergodic properties of subgroups actions on homogeneous spaces with applications to number theory, Proceedings of the international congress of mathematicians, (Kyoto 1990), p 193-215

[16] G.A. MARGULIS Discrete subgroups and ergodic theory, dans Number theory, trace formulas and discrete subgroups, Proceedings of the conference in honour of A. Selberg, Oslo (1987), Academic press.

[17] G.A. MARGULIS, Formes quadratiques indéfinies et flots unipotents sur les espaces homogènes, C.R. de l’Académie des sciences de Paris, T 304 (1987), p 249-253

[18] G.A. MARGULIS, Indefinite quadratic forms and unipotent flows on homogeneous space, Dynamical systems and ergodic theory, Banach Center Publications vol 23 (1989), p 399-409

[19] A. OPPENHEIM The minima of indefinite quaternary quadratic forms of signature 0, Proc. Nat. Acad. Sci., USA 15 (1929), p 724-727

[20] A. OPPENHEIM Values of quadratic forms I, Quart. J. Math. Oxford Ser. (2) 4 (1953), p 54-59

[21] M. RATNER, Raghunathan’s topological conjecture and distributions of unipotent flows, Duke Math. vol 63,1 (1991), p 235

[22] G. TOMANOV, Oppenheim conjecture for hermitian forms on skew fields, à paraître.